无论是IT端还是业务端,数据分析已经无处不在。最近,Gartner发布了2021年十大数据和分析(D&A)技术趋势,这也是该研究方向的第三年趋势发布。
Gartner研究总监孙鑫表示,Gartner一直将数据和分析放在数字化商业平台的核心位置,其功能是为企业各个数字化领域的举措提供核心的赋能和支持。
Gartner研究总监孙鑫
而且去年是特殊的一年,越来越多的企业高管开始意识到数据和分析有改变游戏规则的潜力,帮助企业在快速变化的情况下做出决策。Gartner的调查也显示2020年企业被嵌入最多的也是数据分析平台。
Gartner将企业数据分析分为描述性分析、诊断性分析、预测性分析、指示性分析几个阶段。孙鑫指出,大多数中国企业可能还停留在“描述性分析”向“诊断性分析”发展的过程中,判断一个企业现在所处的阶段可以通过使用的数据科学解决方案、人才等作为评判标准。
2021年十大数据和分析(D&A)技术趋势解读
趋势一:更智能、负责、可扩展的AI
很多企业为实现AI而苦恼,因为AI很难在生产运营环节中真正发挥作用。而人工智能(AI)和机器学习(ML)的影响力日益增加,企业可通过部署更智能、更负责、可扩展的AI,运用学习算法和可解释的系统加快价值实现时间和提高业务影响力。
趋势二:组装式数据和分析架构
组装式企业可以在面临像疫情这种重大事件时,做出快速的响应和恢复。组装式数据和分析架构是基于容器、微服务的架构,以及数据编织概念,从现有资产中组合出灵活的、模块化的、可重用的数据分析功能。可以利用低代码和无代码技术组件将这些能力组合起来,其中的组件可能来自不用的厂商,但组合的形式却可以有效的帮助支撑自适应的决策。
趋势三:数据编织是基础
数据编织是企业做动态数据整合非常有效的一种设计模式,让企业从传统的数据收集形式通过灵活的转换变成连接数据,帮助企业管理好各种各样数据整合时可能出现的情况,从而让用户可以更好的使用数据分析功能。Gartner推荐企业利用数据编织的概念去支持不同的数据交互,并且用这种动态的形式去管理各种各样的数据,同时投资越来越多的元数据,驱动更多类似的开发。
趋势四:从“大”数据到“小”而“宽”的数据
小数据的概念其实一直存在,Gartner认为,其是补充AI解决方案的一个举措。小数据的方法是指应用相对较少的数据,仍能提供有见解的分析技术,有针对性的使用数据要求比较低的模型,比如一些时间序列分析技术。Gartner也预测,到2025年,70%的企业将不得不把关注点从原先的大数据转向现在的小数据或是宽数据,从而为数据分析提供更多背景。
趋势五:XOps
多个Ops学科,会造成市场的混乱,Gartner把它们叫做XOps。无论是哪种Ops,它的目标都是利用DevOps的最佳实践去实现效率和规模经济,并确保可靠性、可重用性,同时减少技术和流程的重复,从而实现自动化。
趋势六:工程化决策智能
决策需要经历抓取数据、解释数据、设计模型、模型场景化、执行五个步骤的决策环,智能决策是让人和AI共同做一个决策,通过组合决策的模式去做更优或者是更快捷的决策。决策智能提供了一个框架,将多种传统和先进技术结合在一起,从而设计、建模、调整、执行、监控和调整决策模型。工程决策智能不仅适用于单个决策,还适用于决策序列,可以将其归入业务流程,甚至是新兴的决策网络。工程决策的准确性、透明度、可追溯性、灵活性、可重复性、可解释性将会持续提高。
趋势七:数据和分析成为核心业务功能
过去数据分析更多由IT主导,支持业务成果来进行。现在由于数据工具越来越简化、易用,用户开始主导数据分析的相关行为。随着企业加快数据化业务转型,业务领域主导的数据分析包括数据素养、数据资产化、更智能的数据共享和自适应的数据治理越来越多发挥关键作用。
趋势八:图技术使一切产生关联
Gartner预测,到2025年,图技术将从2021年的10%上升到80%,从而在数据分析创新中促进整个企业的快速决策。“图技术”包含了各种各样的解决方案,这些解决方案将数据节点以合编的形式进行展示,而不是表格、行或者列。图技术正在成为许多现代化数据分析的基础,它增加了与业务用户间的理解和协作。企业可以更好的利用图的清晰脉络帮助企业理解现在模型是怎么建立,并且发现一些隐藏的洞察。
趋势九:日益增多的增强型数据消费者
现在使用大型数据仓库产生报告、报表后,可能并没有针对每个用户本身去传递与相关的信息,现在则需要让业务端的用户感受到只跟他相关的数据分析的好处。Gartner认为,企业未必一定要培养一个高管或人才去使用拖拉拽的工具,可能更要培养的是如何让他在一个情境当中去问适合他问的问题,或者训练一个系统能够以问题的形式做一些数据分析,这样就可以有效提高现在数据分析的普及率。
趋势十:数据和分析正在向边缘移动
随着计算环境更接近物理世界的资产,企业可以使数据管理和分析的方式、地点更加灵活,这些变化也将对数据分析管理人员或者说是团队产生巨大的影响。从2018年到现在,Gartner的客户对于边缘做数据分析的影响相关咨询增加了400%,而且多样化的用例也带动了人们对于数据分析边缘功能的兴趣。
另外Gartner预测,到2025年,70%的新应用将是由低代码、无代码技术完成开发,而且这种应用未来将会由使用者来进行组装完成。“目前一些行业已经开始使用低代码,像零售、电商、金融、制造等行业应用低代码进行快速的交付。”孙鑫表示,低代码不可能完全替代程序员,企业可以利用低代码赋能“公平的开发者”,让开发者能够用企业已经做好的可以复用的组件和模块进行应用开发。
好文章,需要你的鼓励
国际能源署发布的2025年世界能源展望报告显示,全球AI竞赛推动创纪录的石油、天然气、煤炭和核能消耗,加剧地缘政治紧张局势和气候危机。数据中心用电量预计到2035年将增长三倍,全球数据中心投资预计2025年达5800亿美元,超过全球石油供应投资的5400亿美元。报告呼吁采取新方法实现2050年净零排放目标。
阿布扎比科技创新研究院团队首次发现大语言模型生成的JavaScript代码具有独特"指纹"特征,开发出能够准确识别代码AI来源的系统。研究创建了包含25万代码样本的大规模数据集,涵盖20个不同AI模型,识别准确率在5类任务中达到95.8%,即使代码经过混淆处理仍保持85%以上准确率,为网络安全、教育评估和软件取证提供重要技术支持。
AMD首席执行官苏姿丰在纽约金融分析师日活动中表示,公司已准备好迎接AI浪潮并获得传统企业计算市场更多份额。AMD预计未来3-5年数据中心AI收入复合年增长率将超过80%,服务器CPU收入份额超过50%。公司2025年预期收入约340亿美元,其中数据中心业务160亿美元。MI400系列GPU采用2纳米工艺,Helios机架系统将提供强劲算力支持。
斯坦福大学研究团队首次系统比较了人类与AI在文本理解任务中的表现。通过HUME评估框架测试16个任务发现:人类平均77.6%,最佳AI为80.1%,排名第4。人类在非英语文化理解任务中显著优于AI,而AI在信息处理任务中更出色。研究揭示了当前AI评估体系的缺陷,指出AI的高分往往出现在任务标准模糊的情况下。