Gartner预测,到2030年,多模态企业软件和应用将占比达80%,远高于2024年不到10%的水平。
Gartner高级研究总监Roberta Cozza表示:“企业软件向多模态转变是一次企业运营和创新的根本转型。多模态生成式人工智能(GenAI)将带来此前无法实现的特性和功能,推动企业应用的升级演进,医疗、金融、制造等行业都将从中受益。该技术将通过增强特定领域语言模型,提高模型准确性,实现企业运营的自动化并驱动情境决策智能,使AI能够在各种任务中主动采取行动。”
多模态GenAI模型等具有重大影响力的技术位于“Gartner新兴技术影响力雷达图:GenAI”的中心(见图一)。产品负责人必须就投资这些新兴GenAI技术做出关键性决策,从而帮助客户创造前所未有的业务价值。”
图一、新兴技术影响力雷达图:GenAI
数据来源:Gartner(2025年5月)
多模态GenAI能够在单一生成模型中处理多种类型的数据输入和输出,包括图像、视频、音频(语音)、文本和数值数据等。多模态技术使模型能够与各种模态的数据进行交互并生成输出,提高了GenAI的可用性。
目前,许多多模态模型支持两种或三种模态的处理(例如文生视频或语音转图像)。未来几年,多模态能力将进一步扩展,涵盖更多样化和全新的模态类型。
Cozza表示:“企业应专注于将多模态技术整合到其软件中,以此提升用户体验和运营效率。通过充分利用多模态GenAI所提供的多样化数据输入与输出,企业有望释放出全新的生产力与创新潜力。”
好文章,需要你的鼓励
微软宣布为Word和Excel推出基于OpenAI的AI代理模式,通过简单提示即可自动生成文档和分析数据。Word用户可享受"氛围写作"功能,利用现有文档组装报告和提案。Excel代理能分析电子表格数据并生成可视化报告。尽管在SpreadsheetBench基准测试中准确率仅为57.2%,低于人类平均水平71.3%,但微软强调其针对实际工作场景优化。此外,微软还发布了基于Anthropic的Office代理,显示其正逐步减少对OpenAI的依赖。
POSTECH研究团队开发出VideoFrom3D框架,能够仅凭粗糙3D模型、摄像机轨迹和参考图片生成高质量场景视频。该方法巧妙结合图像和视频扩散模型优势,通过稀疏锚点生成和几何引导插值两个模块,实现了传统3D制作流程的革命性简化。实验证明该方法在多种复杂场景下表现优异,为3D内容创作提供了更高效的解决方案。
OpenAI为美国ChatGPT用户推出"即时结账"功能,用户可在对话中直接购买Etsy和Shopify商品,无需跳转至外部网站。该功能支持Apple Pay、Google Pay等多种支付方式,并计划接入超过100万家Shopify商户。OpenAI还将开源其代理商务协议技术,与谷歌的代理支付协议形成竞争。这标志着电商购物模式的重大转变,AI聊天机器人可能重塑在线零售发现和支付生态系统。
Meta超级智能实验室开发了ARE平台和Gaia2基准测试,为AI智能体创造了更真实的训练和评估环境。ARE支持异步交互,模拟真实世界的复杂性和不确定性。Gaia2包含1120个场景,评估AI的七项核心能力。实验显示最强模型成功率仅42%,特别在时间管理和处理歧义方面表现较差,揭示了当前AI技术的局限性和改进方向。