Gartner预测,到2025年底,至少有30%的生成式人工智能(GenAI)项目将在概念验证后被放弃,原因包括数据质量差、风险控制不足、成本上升、业务价值不明确等。
在近期举行的Gartner数据与分析峰会上,Gartner杰出研究副总裁Rita Sallam表示:“经过去年的炒作,企业高管已迫不及待地想要看到GenAI投资的回报,但企业机构目前还难以证明和实现这些投资的价值。而随着行动范围的扩大,开发和部署GenAI模型所带来的经济负担越来越重。”
Gartner认为,企业机构所面临的一大挑战是证明为提高生产力而大力投资于GenAI的合理性。然而,这些投资很难直接转化为经济效益。许多企业机构正在使用GenAI深入改变其业务模式和创造新的商机,但GenAI部署方法的成本高达500万美元至2000万美元(见图一)。
图一、不同GenAI 部署方法的成本
资料来源:Gartner(2024 年 7 月)
Sallam表示:“不幸的是,目前还没有万能的GenAI部署方法,成本也不像其他技术那样可以预测。你的花费、所投资的用例以及采取的部署方法都决定了成本的高低。无论你是希望将人工智能(AI)应用于各个方面的市场颠覆者,还是较为保守地专注于提高生产力或扩展现有流程,都会产生不同程度的成本、风险、变数和战略影响。”
Gartner的研究表明,无论AI目标的大小如何,GenAI 都要求企业对间接的、未来的财务投资标准有更高的容忍度,而不是追求立竿见影的投资回报率(ROI)。一直以来,许多首席财务官都不愿意为了未来的间接价值而在当下做出投资。这种不情愿会使投资分配偏向于短期战术成果而非长期战略成果。
实现业务价值
各个行业和业务流程的早期用户均实现了业务改进,改进的程度因用例、工作类型和员工技能水平而异。Gartner最近的一项调查显示,受访者的收入平均增加了15.8%,成本平均节约了15.2%,生产力平均提高了22.6%。这项调查于2023年9月至11月期间对822位企业领导人开展。
Salim表示:“这些数据为评估GenAI业务模式创新带来的业务价值提供了宝贵的参考依据。但重点在于要认识到由于收益与公司、用例、角色和员工密切相关而给估算这一价值所带来的挑战。虽然通常情况其效果可能不会立竿见影,而是会逐渐显现,但这一延迟不会减少潜在的收益。”
计算业务影响
Gartner 认为,企业可以通过分析GenAI业务模式创新的业务价值和总成本,确定直接投资回报率和未来价值影响。这是在GenAI业务模式创新方面做出明智投资决策的重要方法。
Sallam表示:“如果业务成果达到或超过预期,就有机会将GenAI创新和使用推广到更大的用户群中或者在其他业务部门实施,从而扩大投资规模。但如果达不到预期,就可能需要探索其他创新场景。像这样的洞察有助于企业机构实现资源的战略分配并确定最有效的发展路径。”
Gartner客户可在报告《计算GenAI业务模式创新的投资回报率》以及免费的Gartner网络研讨会“成熟组织为取得AI成功所采取的不同做法”中了解更多信息。
好文章,需要你的鼓励
P1.AI创始人保罗·埃雷门科正用合成数据训练AI设计物理系统,从住宅冷却到星际飞船,突破工程AGI的终极瓶颈——数据稀缺。他的AI工程师Archie已能像人类一样处理多物理场任务,目标是让机器设计人类无法想象的复杂系统。
波士顿大学研究团队开发的DORI基准测试从四个维度评估多模态大语言模型的物体方向理解能力:正面对齐、旋转变换、相对方向和规范方向感知。研究评估了15个最先进模型,发现即使最佳模型在粗粒度任务上的准确率也仅为54.2%,在细粒度方向判断上更低至33.0%,与人类表现相差近30%。结果表明当前模型在精确角度估计、多视角追踪和理解复合旋转方面存在系统性缺陷,反映了它们内部3D空间表示的根本局限,为未来模型设计提供了明确方向。
这篇研究介绍了Oracle AI团队开发的一种针对企业系统的域特定检索硬负样本挖掘框架。该方法通过整合多种嵌入模型、降维处理和独特的语义选择标准,动态识别具有挑战性但上下文无关的文档作为训练样本,显著提升了重排序模型的性能。在云服务领域的测试中,该方法在MRR@3和MRR@10指标上分别提升了15%和19%,并在多个公开领域数据集上展示了广泛适用性,为企业搜索和检索增强生成应用提供了实用解决方案。
Oracle研究团队开发了FS-DAG,这是一种用于视觉丰富文档理解的少样本领域适应图网络模型。与传统大型模型不同,FS-DAG仅需5份示例文档即可适应新文档类型,参数量不到90M,却在信息提取任务中表现卓越。模型采用模块化架构,结合预训练的文本和视觉特征提取器与图神经网络,展现出对OCR错误的极强鲁棒性(性能下降不到1%)。实验表明,FS-DAG在多种文档类型上优于LayoutLMv2等大型模型,同时具有更短的训练和推理时间。目前已被50多家企业采用,每月处理超过100万次API调用,证明了其在实际业务场景中的价值。