过去八年间,数据中台及其“统一数据、统一服务、统一身份(One data, one service, one ID)”理念的广泛采用,推动了中心化数据平台和职责的普及。2023年Gartner中国CIO调研显示,80%的中国受访者依赖中心化IT部门来提供IT架构能力、数据、网络安全标准和政策。
然而,中心化IT放大了两个问题:IT无法快速展示数据平台投资的业务价值,IT对高速变化的业务需求的响应较为缓慢、被动。关于是否采用数据中台/数据网格(Data Mesh)的许多争论,实际上都指向一个更为根本的问题:企业的数据分析平台和职责,适合怎样的中心化/去中心化程度。
中国企业机构在数据驱动转型中很难兼顾的两个需求,是数据和分析(D&A)的过程敏捷性和成果可靠性。为此,中国D&A领导者应采用混合式分析平台及其配套计划,成功实现由数据驱动的机构转型。
根据企业机构需求确定中心化程度
Gartner定义了数据和分析旅程的三个阶段:后企业数据仓库(EDW)阶段、逻辑数据仓库(LDW)阶段和数据编织阶段(见图1)。
图1:从企业数仓向逻辑数仓和数据编织的演变
与北美和欧洲相比,亚太和中国由于存在更大的行业差距、地域差距和其他影响因素,企业机构的数据分析成熟度差异更大。除数据分析成熟度之外,企业业务组合的多元化程度、行业竞争激烈程度等很多因素也影响着数据和分析职责的中心化程度。
D&A领导者应全面评估企业机构的数据分析成熟度和相关其他因素,确定最佳适用原则以及优先度最高的数据分析任务。
运用Gartner双模概念进化数据分析平台
除了涉及混合数据分析原则外,另一个关键而困难的任务是在细粒度层面上实现业务线和IT之间各项技术权责的最佳平衡。“业务部门对数据治理项目的参与度有限”和“分析交付成果等待时间过长、业务满意度低”等负面评价,是平衡失调的典型迹象。
IT拥有的企业数据仓库/湖和业务线拥有的数据集市/沙箱,并不互相排斥。两类平台有各自适用的数据分析用例,可通过Gartner双模概念进行区分。
双模IT旨在为两种IT工作负载实施不同的交付策略:
在数据和分析领域,模式1用例优先考虑数据质量、数据安全和数据可复用性,而不是敏捷性。这些用例应在中心化数据分析平台上交付,遵循严格的数据治理规则以及由中心化IT部门主导的详细测试流程。
模式2用例具有探索性和时效性,其洞察提供时效性优先于数据治理标准。应用/结果可在原型开发环境中交付,使用户能在有限的IT参与度下灵活完成探索和调查。根据数据敏感度和隐私级别,部分新的源数据可绕过数据仓库/数据湖,直接采集到目标应用或数据集市中。
持续调整数据分析角色和职责分配
随着技术架构的发展,不同数据分析角色的责任也应不断变化,以适应各类用例的不同价值偏好。在复杂的用例中,数据工程、数据治理、报表/应用交付等端到端任务通常由不同的部门完成。2023年Gartner中国CIO调研显示,对于“制定企业数字变革愿景时面临的主要困难”这一问题,得票最高的四项有三项与跨部门协调有关,这反映了IT和业务部门之间的责任不匹配。
原则上,与数据基础设施关联较为紧密的任务,如数据获取和元数据变更协调,应由IT集中管理。与洞察消费者关联较为紧密的任务,如BI报表交付和自助服务分析,则应更多地由业务端参与或由业务领导者负责。
用例责任分配不当,会造成预期价值偏好与现实情况不匹配,进而导致业务价值稀释。D&A领导者应不断调整责任归属,使之符合企业机构的数据分析成熟度、数据分析平台发展进度以及新的数据分析用例模式。
好文章,需要你的鼓励
大数据可观测性初创公司Monte Carlo Data推出全新Agent Observability产品,为AI应用提供全方位数据和AI可观测性。该工具帮助团队检测、分类和修复生产环境中AI应用的可靠性问题,防止代价高昂的"幻觉"现象,避免客户信任度下降和系统宕机。新产品采用大语言模型作为评判器的技术,能够同时监控AI数据输入和输出,提供统一的AI可观测性解决方案。
Meta与特拉维夫大学联合研发的VideoJAM技术,通过让AI同时学习外观和运动信息,显著解决了当前视频生成模型中动作不连贯、违反物理定律的核心问题。该技术仅需添加两个线性层就能大幅提升运动质量,在多项测试中超越包括Sora在内的商业模型,为AI视频生成的实用化应用奠定了重要基础。
网络安全公司Aikido披露了迄今最大规模的npm供应链攻击事件。攻击者通过钓鱼邮件获取维护者账户凭证,向18个热门JavaScript包注入恶意代码,这些包每周下载量超过26亿次。恶意代码专门劫持加密货币交易,监控浏览器API接口将资金转移至攻击者地址。受影响的包括chalk、debug等广泛使用的开发工具库。虽然攻击在5分钟内被发现并及时公开,但专家警告此类上游攻击极具破坏性,可能与朝鲜黑客组织相关。
上海AI实验室发布OmniAlign-V研究,首次系统性解决多模态大语言模型人性化对话问题。该研究创建了包含20万高质量样本的训练数据集和MM-AlignBench评测基准,通过创新的数据生成和质量管控方法,让AI在保持技术能力的同时显著提升人性化交互水平,为AI价值观对齐提供了可行技术路径。