数据中台概念最早于2015年年底被阿里巴巴首次提出,当时的数据中台的核心任务就是建设全域大数据。
经过了9年时间,中台的概念和范围一直在不断变化和演进,Gartner认为,现在我们正走向“后数据中台时代”。
数据中台是过去几年比较火热,现在它慢慢地退出了讨论的中心。在“后数据中台时代”,董事会和CEO依然希望在决策时,数据分析能发挥更大作用。50%的董事会希望能够增加数据驱动的决策,CEO也将数据分析能力视为推动企业增长的首要能力,大数据赋能的AI、大模型,也在现在被提到前所未有的一个高度。
在Gartner高级首席分析师费天祺看来,企业通过数据和分析实现的所有价值交付都有一个基础的交叉点,像生成式人工智能、数据科学和机器学习、云生态环境、商业智能,他们的交叉点就是数据的底层架构,数据提供和给予都和底层架构设计有关。
在后数据中台时代,数据管理和数据服务的核心理念依然存在,但实现方式将更加灵活和分散。混合式数据运营架构将成为趋势,结合集中式和分散式的数据管理方式,以适应快速变化的业务需求。
Gartner高级首席分析师费天祺
数据中台:理念与现实的差距
阿里巴巴提出的“大中台、小前台”架构,是把提供基础技术、数据支持的部门整合为一个大的中台,统一给各个业务线提供数据和相关的技术支持,当时的这一举措很快在互联网和金融行业得到响应,也取得了一些成功的案例。
数据中台是一个中心化数据架构的设计理念,最初设计出来是为解决数据孤岛问题,促进数据的集中管理和共享。
根据2022年6月Gartner的调研显示,只有37%的企业明确了解“数据中台”的定义和范围并已经开始建设;33%的企业对中台概念不清晰,只是跟风使用;28%的企业认可中台理念但认为不适用于自己;剩余2%的企业不认可中台理念,不会去建设。
所以Gartner在2023年数据分析与人工智能技术成熟度曲线里面,“数据中台”落入泡沫低谷期,并且不能够在未来像已经成熟的,数据仓库、数据湖、数据虚拟化这样概念一样形成标准化的行业的共识,取得普适意义上的成功。
数据中台没有达到预期的广泛成功,主要是因为价值主张过于宽泛、与业务脱节和单纯交付技术。费天祺指出,数据中台在实施过程中的复杂性和缺乏业务支持导致了许多项目的失败,尽管数据中台概念在某些情况下有效,但在许多实际应用中,它变得太过庞大和复杂,难以维持。
数据中台最火热的时候,整个经济环境处在上升状态,现在经济下行的情况下,Gartner发现“预算”和“资源”的限制,是当今数据分析团队成功的紧迫的挑战,所以企业也不愿意投入更多资金去建设一个端到端的中台项目。
同时“中台时代”并没有解决在快速赋能业务的前提下,兼顾企业长久发展的治理、管控、协同数据上的问题,并且去调动业务的积极性、让数据分析的价值变得可衡量、变得具象化。
而对于那些已经部署但未成功的数据中台,企业应根据自身的实施情况进行调整。费天祺谈到,如果企业在数据治理方面取得了进展,那么即便中台项目其他部分未成功,这些努力也并非白费。对于那些失败的中台项目,可以通过数据虚拟化层进行数据内容的关联和连接,不必进行物理集中存储。
后数据中台时代的四大新要求
数据分析战略的演进可以分为,前数据中台时代、数据中台时代、后数据中台时代。费天祺看到,前中台时代有一些碎片化、分散的数据分析能力,中台时代强调中心化的管控和复用数据分析能力,后数据中台时代走向业务为导向、价值为导向的敏捷增强型数据分析运营模式。
Gartner认为,“后数据中台时代”的数据基础能力有四个新的要求,包括数据变现与产品化、数据与业务价值挂钩、敏捷D&A运营、AI技术赋能。
数据分析的业务价值演进是数据产品与资产化,共分为三个阶段,洞察阶段:侧重对历史数据的描述性分析给出一些洞察;业务优化阶段:数据可以通过分析对特定的业务流程做更好的优化,常见的应用包括客户数据平台(CDP)和营销自动化平台(MA);D&A产品阶段:标志着数据价值的资产化,不仅包括内部数据产品的部门间流转和复用,也涵盖了数据产品的外部销售,如风控算法和环境社会治理(ESG)指数等产品。
数据变现和产品化的基础,就是要有有效的数据资产管理。Gartner提出了“数据资产变现”变的七大实践:盘点可用的数据资产、评估和选择内外部变现方法、建立数据资产管理的执行认责制、构建数据的产品管理能力、借鉴其他行业的高价值变现思路、建立并培育数据资产市场、公开讨论法律和伦理问题。
数据变现和产品化离不开数据和业务成果挂钩,但企业很难将两者进行连接。Gartner有一套由上到下的“价值金字塔”方法,把所需的数据能够对应到不同的业务成果,进行关联和梳理。
“企业可以从增加营收、降低成本、规避风险三大维度进行拆解,找到不同业务线的业务成果指标和能贡献到这个业务成果指标的数据分析成果指标。”费天祺说道。
在后数据中台时代企业会在现有数据平台的基础上探索更加敏捷、更加平衡的数据运营架构,这是一个混合的“集中式”和“分散式”共同存在、相互支持、相互依存的架构,最后走向数据编织。
现在AI对于数据分析基础能力的要求越来越高,一方面,生成式AI的使用对数据管理基础提出了更高要求。企业需要确保数据治理和数据质量,以支持AI的有效部署。另一方面生成式AI会多层次地对传统数据分析能力进行赋能。而且企业是否有AI就绪的数据,将会极大程度上影响最终AI输出的成果。
Gartner也给出四点建议,第一,迈向数据变现进程中,应用数据资产管理的实践;第二,打通数据应用与业务成果的价值连接;第三,从中心化的“大中台、小前台”到混合式、敏捷的,“薄”中台;第四,尝试生态解决方案,培养“AI就绪数据”。
好文章,需要你的鼓励
创业公司Pythagora发布全新AI编程平台,通过14个专业AI代理实现从前端到后端的全栈应用开发。该平台支持开发者和非技术用户仅通过自然语言提示创建应用程序,涵盖规划、编码、测试、调试和部署全流程。与传统AI编程工具不同,Pythagora提供端到端解决方案,AI代理可自动处理前后端开发、API连接、数据库管理等任务,并具备专门的调试功能,让用户无需实际编写代码即可创建完整应用。
字节跳动联合浙江大学发布了ImmerseGen系统,这是一个能根据文字描述自动生成VR世界的AI工具。该系统采用轻量化代理和RGBA纹理技术,用AI代理协作完成从地形生成到物体布置的全流程,还能添加动态效果和环境音效。相比传统方法,它生成的场景效率提升数十倍,在移动VR设备上达到79帧流畅运行,为VR内容创作带来革命性突破。
Context公司推出AI驱动的自动驾驶平台,可同时启动数千个AI代理执行深度研究、数据分析和报告生成等工作。该公司与高通建立战略合作,支持AI代理在骁龙神经处理单元上本地部署,实现在用户个人电脑而非云端运行的AI自动化。平台类似中国AI平台Manus,通过大语言模型执行复杂任务,包括企业搜索、代码解释、文档生成等应用,已完成1100万美元种子轮融资。
慕尼黑大学研究团队开发了SwarmAgentic技术,这是首个能够完全自主生成智能体系统的框架,无需人工预设模板。该技术借鉴蜂群智能原理,让AI系统自己决定需要什么角色、如何分工协作。在旅行规划等六项复杂任务测试中,SwarmAgentic表现优异,在旅行规划任务上比现有最佳方法提升261.8%,展现了全自动智能体系统设计的巨大潜力。