Gartner近期发布的2024年CIO和技术高管调研显示,超过60%的中国企业计划在未来12至24个月内部署生成式人工智能(GenAI)。由于中国企业倾向于在本地而非通过公有云部署GenAI,目前的基础设施环境无法支持GenAl项目,这将推动中国企业数据中心的设计转型。
Gartner研究总监张吟铃表示:“由于安全和数据隐私方面的担忧以及监管要求,一些企业更倾向于在本地部署GenAl解决方案或微调大语言模型(LLM)。在本地部署GenAl对于数据中心来说并不仅仅是一个简单的托管需求,而是可能改变企业数据中心的战略,因为模型训练需要大规模的GPU集群。”
Gartner定义了五种GenAl部署方法(见图1)。根据企业选择的GenAI部署方法,中国的首席信息官(CIO)及基础设施和运营(I&O)领导者需要了解GenAI部署的影响以及如何采取行动。
图1:生成式人工智能部署的五种方法
中国的CIO及I&O领导者须为应对这一技术对数据中心的影响做好准备。
本地部署GenAI将迫使I&O领导者改变托管环境的设计方式
部署GenAI对数据中心的影响取决于所运行的工作负载类型,因为某些GenAI工作负载需要使用高端图形处理器(GPU)。由于中国市场上的高端GPU供应有限,I&O领导者要在本地部署GenAI就需要改变托管环境的设计方式。
I&O领导者无法独自解决供应短缺问题,必须与业务、AI工程师和职能团队合作应对这一挑战。
张吟铃表示:“为GenAl的部署准备基础设施资源的中国CIO及I&O领导者应该主动与业务及相关团队合作,预测不同工作负载对数据中心的成本和时间表的影响,从而为GenAl的部署制定数据中心宏观战略。如果训练模型需要高端GPU集群,则需要通过平衡成本、风险和机遇(如购买替代硬件或租赁GPU资源),充分了解各类托管方案。”
部署大规模GPU集群需要改造并升级数据中心基础设施和设备
从零开始构建基础模型或微调模型需要部署大规模GPU集群,这将对现有数据中心带来颠覆。因为GenAI模型的训练需要高吞吐量、低延迟和无损的基础设施。为了支持此类高性能计算集群,必须对网络、存储、电力供应和冷却系统进行升级。在某些情况下,需要对现有设施进行改造,以承载升级后的基础设施(见图2)。
图2:大规模GPU集群对数据中心的影响
张吟铃表示:“中国CIO及I&O领导者需要与数据科学家和工程师合作,明确GPU集群规模和GenAI性能要求,从而确定网络和存储等方面的基础设施要求。同时,也需要分析电力需求、冷却效率、机架、空间等,确定现有数据中心环境在部署大型GPU集群方面存在的差距。平衡时间和成本,选择最适合的数据中心改造方案。”
好文章,需要你的鼓励
韩国科学技术院研究团队提出"分叉-合并解码"方法,无需额外训练即可改善音视频大语言模型的多模态理解能力。通过先独立处理音频和视频(分叉阶段),再融合结果(合并阶段),该方法有效缓解了模型过度依赖单一模态的问题,在AVQA、MUSIC-AVQA和AVHBench三个基准测试中均取得显著性能提升,特别是在需要平衡音视频理解的任务上表现突出。
这项研究利用大语言模型解决科学新颖性检测难题,南洋理工大学团队创新性地构建了闭合领域数据集并提出知识蒸馏框架,训练轻量级检索器捕捉想法层面相似性而非表面文本相似性。实验表明,该方法在市场营销和NLP领域显著优于现有技术,为加速科学创新提供了有力工具。
un?CLIP是一项创新研究,通过巧妙反转unCLIP生成模型来增强CLIP的视觉细节捕捉能力。中国科学院研究团队发现,虽然CLIP在全局图像理解方面表现出色,但在捕捉细节时存在不足。他们的方法利用unCLIP生成模型的视觉细节表示能力,同时保持与CLIP原始文本编码器的语义对齐。实验结果表明,un?CLIP在MMVP-VLM基准、开放词汇语义分割和视觉中心的多模态任务上显著优于原始CLIP和现有改进方法,为视觉-语言模型的发展提供了新思路。
这项研究介绍了RPEval,一个专为评估大语言模型角色扮演能力而设计的新基准。研究团队从法国里尔大学开发的这一工具专注于四个关键维度:情感理解、决策制定、道德对齐和角色一致性,通过单轮交互实现全自动评估。研究结果显示Gemini-1.5-Pro在总体表现上领先,而GPT-4o虽在决策方面表现出色,但在角色一致性上存在明显不足。这一基准为研究人员提供了一个可靠、可重复的方法来评估和改进大语言模型的角色扮演能力。