ZD至顶网CIO与应用频道 06月24日 北京消息:数据分析对于很多企业是不可或缺的。几乎所有大型企业都已构建了数据仓库, 以便对各种来源的数据进行报告和分析,为决策提供依据,从而指导业务流程改进。构建并运行数据仓库是一件复杂而费力的事情。大部分数据仓库都很复杂,前期投入的软件、硬件、人力都会很多。另外,传统数据仓库在数据爆炸性增长的今天、扩展比较困难、性能下降明显。
为了解决这些问题,UCloud 近日推出了大规模并行、完全托管的PB级数据仓库服务——UDW,可以极大地减少部署数据仓库相关的成本和工作量,更高效地使用商业智能 (BI)工具来分析海量数据。
MPP体系结构+高可用架构 实现高性能
UDW提供可视化的控制台,能方便快捷的管理和监控数据仓库,降低使用门槛;此外,支持数据压缩、深度优化的软硬件方案,按实际数据处理需求开通节点实例,无需为搭建数据仓库一次性投入高额成本;同时,支持行存储及列存储的数据存储方式,满足不同场景下的数据存储需求。
UDW是基于PostgreSQL开发的大规模并行、完全托管的PB级数据仓库服务,几乎支持了PostgreSQL的所有特性。用户只需掌握标准SQL语法,就可以熟练地使用UDW。
架构上采用了可扩展的MPP分布式体系,能为用户提供高性能、低成本、高可用的分布式数据仓库。
MPP体系结构
图1.1 UDW架构图
UDW采用无共享的MPP架构,适用于海量数据的存储和计算。UDW的架构如上图1.1所示,主要有Client、Master Node和Compute Node组成。基本组成部分的功能如下:
Client:访问UDW的客户端、支持通过JDBC、ODBC、PHP、Python、命令行SQL访问UDW。
Master Node:访问UDW数据仓库的入口,它接收客户端的连接请求、负责权限认证、处理SQL命令、调度分发执行计划、汇总Fragment的执行结果并将结果返回给客户端。
Compute Node:Compute Node管理节点的计算和存储资源,每个Compute Node有多个Fragment组成,Fragment负责业务数据的存储、用户SQL的执行。
UDW的高可用架构
图1.2 UDW的高可用架构
如上图所示,Compute Node中的Fragment通过mirror备份到其他的Compute Node上。当primary Fragment出现不可用的时候会自动切换到mirror Fragment、当primary Fragment恢复之后、primary Fragment会自动恢复这期间的变更。
除了Compute Node节点为Fragment配置镜像之外、UDW也会为Active Node配置镜像,确保系统的变更信息不会丢失,提升系统的健壮性。当Active Master不可用时会自动切换到Standby master。
分布式数据存储和并发执行任务
在UDW数据仓库中所有的表都是分布式的,每张表都会被切片。切片规则可以选择按照指定的Key进行Hash分片或者选择随机分片。如下图所示test1、test2、test3、test4四张表的数据都会切片分布到所有的Fragment上面。
图1.3 UDW数据分布图
在进行数据分析的时候、所有的Fragment同时工作、每个Fragment只需计算一部分数据、所以计算效率会大大提升。如下图所示、Master Node会把查询任务下发到每个Fragment,Fragment接收到任务后,把任务划分若干步执行。
Step 1:scan表格数据,如果数据不需要重新分布直接本地做计算、数据处理之后由master做汇总,进入Step3。如果数据需要重新分布,则通过网络传输到对应的Fragment,然后进入Step2。
Step2:数据处理
Step3:master节点汇总数据
图1.4 UDW的并发执行
UDW非常适合商业智能(BI)领域的大数据联机分析处理(OLAP)。充分满足用户对海量历史数据的存取需求,为系统日志、销售数据、监控数据等历史数据提供低成本的存储方案。
可对传统互联网、移动互联网、金融、电信、物联网等领域提供PB级别海量数据存储、查询、统计、分析,方便企业BI业务。
当你的数据规模达到500G,单个MySQL数据库已经难以支持。随着业务增长,数据规模可能会达到TB级别甚至可能达到PB级别,如果希望后续能够平滑的扩容,UDW为你提供了一个低成本、高效率的解决方案。
UDW现在已经进入全面公测,只要你了解一点SQL语法就能快速熟练的使用UDW。另外我们也提供了详细的说明文档。详见:https://docs.UCloud.cn/upd-docs/udw/index.html
好文章,需要你的鼓励
云计算已成为全球商业的基础,但许多企业在使用云时仍存在误区。本文总结了5个常见错误:未从战略角度看待云、忽视安全、未将云与AI战略结合、未控制AI成本、被供应商锁定。避免这些错误对充分发挥云的创新潜力至关重要。企业应将云视为战略能力,注重安全文化建设,融合云与AI,控制成本,保持灵活性,以驱动增长和创新。
人工智能革命正在重塑各行各业的CIO角色,为技术领导者创造前所未有的机会来提升其战略影响力。在东北杂货店,这一转变使未来准备责任得以在整个组织中重新分配。CIO不再是唯一负责预见未来技术需求的人,而是通过赋予业务伙伴AI能力,使展望未来成为共同努力。AI的"WOW"因素不仅提高了效率和生产力,还将CIO从服务提供者转变为赋能整个业务生态系统的动力创造者。
一份新报告预测,到2035年人工智能将从根本上改变人类行为、认知和关系。专家们认为,AI 将深刻影响人的思维方式、情感能力和自主性,可能导致认知能力衰退、社交技能下降和个人独立性减弱。同时也可能加剧社会极化,削弱共同价值观。尽管存在担忧,部分专家仍对 AI 增强人类能力持乐观态度。这份报告引发了对 AI 如何重塑人类本质的深入思考。
Tomer Cohen作为LinkedIn的首席产品官,负责管理产品、用户体验和客户运营团队。他从以色列移居硅谷,在斯坦福大学就读期间被LinkedIn的理念所吸引。Cohen加入公司后,推动了从桌面到移动平台的转型,并致力于开发社交信息流等产品。他认为LinkedIn的核心价值在于连接人与职业网络,为用户提供发展机会。在Cohen的领导下,LinkedIn从单一的求职网站发展成为日常工作工具,拥有超10亿用户。他表示,未来将继续借助AI等技术,为用户提供更个性化的体验。