Gartner提出三大要素助力企业基于新的 AI 基础设施部署大语言模型

根据商业与技术洞察公司Gartner的最新预测，到 2028 年，中国 70% 的大型企业将为大语言模型在 AI 基础设施上的部署建立完善的治理框架，而2025 年这一比例不足10% 。

Gartner分析师们将在5月26-27日于上海举行的Gartner2026大中华区高管交流大会上进一步深入探讨塑造AI基础设施未来的主要技术趋势。

Gartner研究副总裁周玲表示：“中国目前正在快速推进生成式 AI 能力，包括大语言模型、软件、生态集成与硬件革新等。2025 年 Gartner CIO 和技术高管调研显示， 2025 年中国企业计划增加生成式AI 和 AI 领域的技术投资，平均增幅分别为 40.3% 和 33.3% （见图 1），将进一步推动相关技术的发展和使用。”

然而，要成功实现大语言模型在 AI 基础设施中的生产部署并非易事，需统筹协调技术、运维与治理策略，确保模型达成性能指标的同时，保障数据安全与合规性。因此，Gartner提出三大关键要素，以帮助企业确保大语言模型在生产环境中安全有效运行的基础。

构建全面的部署战略

为推动大语言模型在AI基础设施上的高效部署，需制定一套全面稳健的战略布局，涵盖AI基础设施环境适配、场景化架构设计、技术优化实施，并严格遵循监管合规要求。

Gartner研究副总裁周玲表示：“在大语言模型于AI基础设施部署过程中，企业需制定与整体AI战略高度契合的部署方案。这包括识别高价值AI应用场景，权衡通用基础模型与行业专属模型的适用性，并联合业务与AI团队，明确商用方案、基础设施容量、数据管道及高度定制化部署的操作指引。”

制定稳健的部署治理流程

为了成功将大语言模型部署到 AI 基础设施的生产环境中，中国的 I&O 部门必须建立一套稳健的治理流程，采取切实可行的步骤促进资源管理、持续监控以及敏捷更新。

Gartner研究副总裁周玲表示：“构建稳健的大语言模型部署与治理流程至关重要。这应涵盖部署环境与架构的科学选择、优化硬件与容器化技术的应用，以及基础设施的监控与可观测性管理，从而全面提升I&O团队在AI基础设施上部署大语言模型的能力。”

促进关键利益相关方之间的紧密协作

部署大语言模型是一项高度复杂的工作，要求业务、法务、安全及AI与数据团队密切协作。以往各自为政的部门，如今需从项目启动之初就通力合作，确保技术开发充分兼顾法律与安全需求。为此，建立涵盖法务、安全、数据工程与数据科学、产品管理、软件开发及高管层代表的跨职能AI治理委员会，成为保障大语言模型合规、高效落地的关键举措。

Gartner研究副总裁周玲表示：“治理委员会需要促成早期对话，使各方在风险评估、合规要求和运营标准方面达成一致。同时还需定期组织跨部门会议，并确保信息沟通充分且决策透明；此外培训计划和文档工作也发挥着至关重要的作用。”