Gartner预测,到2030年,多模态企业软件和应用将占比达80%,远高于2024年不到10%的水平。
Gartner高级研究总监Roberta Cozza表示:“企业软件向多模态转变是一次企业运营和创新的根本转型。多模态生成式人工智能(GenAI)将带来此前无法实现的特性和功能,推动企业应用的升级演进,医疗、金融、制造等行业都将从中受益。该技术将通过增强特定领域语言模型,提高模型准确性,实现企业运营的自动化并驱动情境决策智能,使AI能够在各种任务中主动采取行动。”
多模态GenAI模型等具有重大影响力的技术位于“Gartner新兴技术影响力雷达图:GenAI”的中心(见图一)。产品负责人必须就投资这些新兴GenAI技术做出关键性决策,从而帮助客户创造前所未有的业务价值。”
图一、新兴技术影响力雷达图:GenAI
数据来源:Gartner(2025年5月)
多模态GenAI能够在单一生成模型中处理多种类型的数据输入和输出,包括图像、视频、音频(语音)、文本和数值数据等。多模态技术使模型能够与各种模态的数据进行交互并生成输出,提高了GenAI的可用性。
目前,许多多模态模型支持两种或三种模态的处理(例如文生视频或语音转图像)。未来几年,多模态能力将进一步扩展,涵盖更多样化和全新的模态类型。
Cozza表示:“企业应专注于将多模态技术整合到其软件中,以此提升用户体验和运营效率。通过充分利用多模态GenAI所提供的多样化数据输入与输出,企业有望释放出全新的生产力与创新潜力。”
好文章,需要你的鼓励
这项由Midjourney团队主导的研究解决了AI创意写作中的关键问题:如何让AI既能写出高质量内容,又能保持创作的多样性和趣味性。通过引入"偏差度"概念和开发DDPO、DORPO两种新训练方法,他们成功让AI学会从那些被传统方法忽视的优秀独特样本中汲取创意灵感,最终训练出的模型在保持顶级质量的同时,创作多样性接近人类水平,为AI创意写作开辟了新方向。
初创公司Positron获得5160万美元A轮融资,推出专门针对AI推理的Atlas芯片。该公司声称其芯片在性能功耗比和成本效益方面比英伟达H100高出2-5倍,并已获得Cloudflare等企业客户采用。Positron专注于内存优化设计,无需液体冷却,可直接部署在现有数据中心。公司计划2026年推出支持16万亿参数模型的下一代Titan平台。
上海AI实验室联合多所高校开发出VisualPRM系统,这是首个专门用于多模态推理的过程奖励模型。该系统能像老师批改作业一样逐步检查AI的推理过程,显著提升了AI在视觉推理任务上的表现。研究团队构建了包含40万样本的训练数据集和专门的评估基准,实现了在七个推理基准上的全面性能提升,即使是最先进的大型模型也获得了5.9个百分点的改进。