11月5日,华为云TechWave数据专题日在线上召开。本次专题日以应对数据全生命周期的挑战为切入点,聚焦数据供给、数据消费、数据治理、数据流通四大环节,探讨如何将数据进行高效串联与管理,实现数据驱动的科学决策。
在数字化、网络化、智能化的时代背景下,数据已成为各行业发展的核心生产要素之一。但全行业数据的爆发式增长,不仅为数据产业发展和生态建设带来发展机遇,也为企业数字化的转型升级带来了诸多挑战。
在本次专题日上,华为云资深数据技术专家携手厚仁科技、T3出行、兴盛优选、西北空管局等客户,分享了华为云湖仓库的最新产品特性,深度解读了华为云数据域全生命周期黑科技深层次激活数据要素潜能的应用实践,助力客户应对数据挑战,赋能业务创新升级。
华为云GaussDB(for MySQL)提高数据要素有效供给能力,激发数据产业潜力
企业在经营活动中往往会面临海量数据和突发性业务波峰,如何保持稳定的数据库性能成为巨大挑战。厚仁科技是一家提供人文素质教育平台的互联网科技企业,存在着用户增长快、用户增长与用户访问时间集中、业务峰谷期明显等业务痛点。
华为云GaussDB提供分钟级的高效扩容,助力厚仁科技快速应对海量客户高并发的突发业务请求。此外,华为云GaussDB采用存算分离技术,在保证数据零丢失的前提下,满足了厚仁科技业务波峰波谷对资源的差异性诉求。得益于华为云GaussDB提供的高可用、高性能、弹性伸缩等能力,厚仁科技业务平台在流量暴涨的情况下依旧保持稳定,在线服务提供更及时,用户体验更佳。
华为云GaussDB(DWS)优化数据消费链条,发挥数据产业价值
在数据消费环节,企业通常采用“乐高式”的组合方案,即采用不同的数据产品来应对不同业务场景的数据分析诉求。然而从数据域整体视角来看,这种产品堆积的组合方案加剧了数据孤岛的现象,同时给数据集成和数据流转带来了挑战,并且延长了数据资产价值变现的路径。
为应对知名电商兴盛优选在实时分析数据、即时查询复杂SQL、数据使用便利性等方面的业务挑战,华为云提供了基于FusionInsight智能数据湖的数据服务,采用Hudi+flink构建实时数据湖。同时,华为云GaussDB(DWS)能够汇聚处理实时性和查询响应时延要求更高的数据,支持复杂算子的SQL查询,秒级返回查询结果,便于业务人员实时获取数据并进行分析和业务策略调整。通过应用在线扩容服务,兴盛优选在业务高峰时能够不中断业务,轻松扩展计算节点,应对突发的业务挑战。
此外,华为云GaussDB(DWS)创新地无缝融合OLAP引擎、时序引擎和CEP引擎,真正做到一站式全场景数据分析,让“一切分析皆SQL”的理想变为现实,不仅极大地简化了全域数据的架构,并且让分析变得简单化、民主化,让人人都能成为分析师。
华为云FusionInsight智能数据湖加速数据资产化,充分释放数据力量
数据的存储与分析环节往往存在着存算一体成本高、实时分析困难、异构数据共享流通难等问题。华为云FusionInsight智能数据湖提供湖仓一体的数据底座,通过底层OBS统一数据存储,全局一份数据无需搬迁;支持一个平台多引擎完成批处理、流处理、交互式查询等;提供元数据统一管理服务,支持像管理代码一样管理数据。
华为云FusionInsight智能数据湖基于云原生的容器和存算分离技术,且支持对一份数据进行多种分析,快速匹配运力。在出行场景中,华为云FusionInsight智能数据湖助力T3出行在访问量激增的情况下秒级弹性应对流量高峰;同时,借助华为云FusionInsight智能数据湖Hudi技术的多表间增量计算能力,T3出行解决了处理“长尾支付”订单时面临冷热数据随机更新的痛点。
在数据流通环节,可信智能计算是实现数据可信流通的一种流行且有效的技术保障。华为云可信智能计算服务TICS在保护原始数据的前提下,能够将散落在不同机构的数据联合起来,转换成有价值的信息或模型,实现数据流通。在汽车领域中,华为云可信智能计算服务TICS基于可信执行环境、安全多方计算、同态加密、区块链等技术,让汽车制造主机厂、汽车销售公司、保险公司、银行等多个参与方能够在保护数据安全的基础上建立数据流通机制,实现联合经营分析、精准保险理赔、快速购车贷款等服务。
华为云数据使能DAYU坚持体系化技术创新,成为释放数据价值的主引擎
今年六月,华为云针对数据基础设施的技术创新,提出了包含“集成、治理、智能、可信、搜索&发现、决策”六大要素的“DIGITS”理念。如今,“DIGITS”理念已被逐步注入到华为云数据使能DAYU的技术平台中,为客户提供强有力的数据技术基础设施和数据全生命周期管理解决方案。
在政务领域,基于华为云数据使能DAYU的“集成”和“治理”能力,华为云助力某人社局打通多个业务系统之间的数据,完成数千张数据资源表、万级数据项的汇聚,按照统一的数据资源目录标准规范,对数据资源进行统一管理,实现跨委办局多源异构数据资源的统一接入和治理,把数据资源转化成统一的数据资产,真正实现了“数字人社”。
在交通领域,基于对“四强空管”战略的深入理解,华为云数据使能DAYU团队与西北空管局以“打通数据孤岛,释放数据价值”为目标,统一数据标准、规划统一智能数据湖和统一应用开发平台,对既有信息系统进行云迁移改造,打通空管设备底层数据、构筑空管数据资产模型,将专家经验沉淀成数据规则,大幅提升空中交通管理效率,让数据找得到、管得住、用得好。
华为云将持续携手生态伙伴,通过数据使能DAYU为用户提供数据供给、消费、治理和流通的数据全生命周期解决方案,在数据库GaussDB、智能数据湖FusionInsight、数仓GaussDB(DWS)、可信智能计算服务TICS等全系列数据服务的支撑下,实现数据统一视图、全域数据智能关联分析和全生命周期数据质量管理,加速企业数据资产化,释放数据要素价值。
好文章,需要你的鼓励
很多人担心被AI取代,陷入无意义感。按照杨元庆的思路,其实无论是模型的打造者,还是模型的使用者,都不该把AI放在人的对立面。
MIT研究团队提出递归语言模型(RLM),通过将长文本存储在外部编程环境中,让AI能够编写代码来探索和分解文本,并递归调用自身处理子任务。该方法成功处理了比传统模型大两个数量级的文本长度,在多项长文本任务上显著优于现有方法,同时保持了相当的成本效率,为AI处理超长文本提供了全新解决方案。
谷歌宣布对Gmail进行重大升级,全面集成Gemini AI功能,将其转变为"个人主动式收件箱助手"。新功能包括AI收件箱视图,可按优先级自动分组邮件;"帮我快速了解"功能提供邮件活动摘要;扩展"帮我写邮件"工具至所有用户;支持复杂问题查询如"我的航班何时降落"。部分功能免费提供,高级功能需付费订阅。谷歌强调用户数据安全,邮件内容不会用于训练公共AI模型。
华为研究团队推出SWE-Lego框架,通过混合数据集、改进监督学习和测试时扩展三大创新,让8B参数AI模型在代码自动修复任务上击败32B对手。该系统在SWE-bench Verified测试中达到42.2%成功率,加上扩展技术后提升至49.6%,证明了精巧方法设计胜过简单规模扩展的技术理念。