CIO趋势：投资回报率成为焦点 谨慎权衡生成式AI的成本

CIO越来越多地开始以更清晰的商业价值为重点审查生成式AI项目，特别是关注生成式AI技术的成本及其潜在优势。

这与生成式AI的早期有所不同，当时企业主要关注探索这项技术的可能性并孵化大量用例创意。随着组织寻求将生成式AI扩展到初始试点之外，这项技术的商业案例现在变得越来越重要。企业采用者中出现了两个相关的要求：确定投资回报率前景最好的用例，发现可能侵蚀财务收益的生成式AI成本。

在这种情况下，生成式AI遵循传统IT部署的路线，理想情况下，取决于财务原理和内部成本控制。

Insight Enterprises是一家位于美国亚利桑那州钱德勒的解决方案集成商，该公司北美首席技术官Juan Orlandini表示：“去年，我们看到了很多实验项目。今年，我们终于开始把生成式视为一种新的功能，我们仍然需要传统企业应用的论证和投资回报率。”

这对于那些生成式AI团队规模很小、预算有限、且容错空间很小的公司来说尤其重要。

Quility是一家总部位于美国北卡罗来纳州斯旺诺阿的在线保险（或保险科技）公司，该公司首席信息官Danielle Conklin表示，公司拥有一个包括她在内的两人数据科学团队。Conklin表示，Quility公司并没有局限于使用现成的大型语言模型来开发生成式AI，而是瞄准了创建自己的高级模型，早期用例包括客户参与和CRM。但她补充说，成本和投资回报率是他们的关键考虑因素。

Conklin说：“要达到较高的水平需要时间、人力和资源，两个人只能专注于一两件事。我们必须确保我们选择的是能够带来高投资回报的事情。”

她说，成本涉及的不仅仅是两个人的时间初始投资：“我们需要使用其他供应商吗？还是第三方数据？我们需要数据清理工具和数据质量工具吗？而且维护模型[和]更新模型也需要长期成本。”

揭示生成式AI的成本：管理变更和准备数据

IT领导者在更详细地研究生成式AI的经济效益时，可能会发现支出要高于预期。麦肯锡公司高级合伙人Aamer Baig表示，企业可能会被生成式AI相对较低的启动成本所吸引。麦肯锡的研究发现，生成式AI模型仅占典型项目成本的15%左右。

但与传统IT计划相比，其他不太明显的成本可能会太高项目的成本。

Baig在今年早些时候的2024年麻省理工学院斯隆CIO研讨会上表示：“我们都是在成本估算的某些正统观念中成长起来的。我们发现，很多正统观念对于生成式AI来说并不适用。”

Baig以变更管理为例，这是数字化转型项目的一大预算项目，对生成式AI的要求更高。

“几年前，我们说你需要为变更管理投入与开发一样多的预算，这引起了不小的轰动。现在[有了生成式AI]，我们发现变更管理的投资高达[开发成本的]三倍。”

Baig表示，生成式AI与数字化转型一样，需要在工作流程、业务流程、政策和KPI方面做出改变。但生成式AI还涉及一些新的变革管理考虑因素，例如提示工程和专业的AI培训。

芝加哥技术咨询公司Thoughtworks首席AI官Mike Mason也提到了变革管理在生成式AI项目中的重要性。

“我们看到组织对变革管理关注得不够，当你谈论改变人类工作方式的时候，你不能忽视其中的变革管理方面。”

Mason还指出，AI准备就绪度是组织应在计算中包括的成本，其中包括数据是否准备好支持AI应用。他说，数据必须是可用的，而不是局限于存储孤岛中，并且在输入生成式AI系统之前必须经过清理。IT部门可能需要升级基础设施才能实现这一点。Mason补充说，采取的步骤可能包括云迁移和采用现代数据平台。

他分享了Thoughtworks生命科学客户的例子，这家客户追求数据现代化，以使数据更易获得，并支持生成式AI在药物研发中的应用。Mason解释说，这家公司的临床前试验数据分散在诸多数据存储中。因此，药物研究人员很难找到有关公司之前实验的信息，从而产生了不必要的重复测试成本。这家生命科学公司部署了一个数据网格，提供了一个统一的平台来访问实验和试验的数据。

“对现有数据的可视性，可以打造一个非常强大的投资回报案例，”Mason说。

与此同时，Quility也将数据作为自己生成式AI工作的一部分。这家保险公司使用Snowflake作为自己的企业数据仓库，使用Apache Kafka开源分布式事件流平台，支持组织中的数据管道和数据集成。

Conklin说：“我们希望成为一家数据驱动型公司，我们希望在决策时向员工提供信息。”

超越传统的运行成本与构建成本

运营生成式AI应用的持续费用，可能是阻碍投资回报的另一项意外成本。Baig表示，在数字化转型中，一个被普遍接受的预测是，运行应用的成本占构建成本的15%到30%。

“有了生成式AI，我谦虚地建议你把这个抛到九霄云外，”他指出，生成式AI模型的运行成本可能等于构建成本，具体取决于用例。

CIO们在大规模部署生成式AI时应该考虑到隐性成本。

Mason表示，运行模型和推理过程（模型解释新数据）的成本通常会使训练模型的成本相形见绌。还有一些成本可能是难以预测的，例如，生成式AI供应商为大型语言模型定价API调用方式，使定价和成本预测变得十分复杂。供应商使用代币系统来为调用定价，较长的文本响应会消耗更多代币。

“基于代币的定价对组织来说是新事物，我认为它不太可预测，”Mason说。

他说，当用户向大型语言模型输入的时候，结果得到的可能是简短或者详细的答案。因此，基于代币的定价使组织很难确定运行应用的实际成本，直到投入生产。

咨询公司EY的美洲技术、媒体和娱乐以及电信AI负责人Vamsi Duvvuri认为，成本不确定性是第一批生成式AI项目的收获之一。

他观察到：“企业仍在努力管理和预测生成式AI的成本。”

Duvvuri表示，大多数当前成本模型在即用即付的场景中都无法实现规模经济。他补充说，许多企业在开始使用生成式AI时采用的是即用即付的方法。

Duvvuri表示，成本方面有一个积极的进展：由于具有竞争力的定价和高效的架构，ChatGPT 4o或Claude 3.5等生成式AI模型的价格最近有所下降。然而，技术采用者仍然应该专注于控制生成式AI的费用。

“企业必须努力优化AI模型工作的单位成本，”Duvvuri表示。

他指出，IT领导者的任务是扩展AI系统的底层技术和功能模式。技术模式包括检索增强生成和多模型链接。RAG则用于提高大型语言模型的准确性，而模型链接旨在提高模型的输出质量。Duvvuri表示，功能模式包括总结/分类、翻译和组合。

Baig指出，在生成式AI部署的早期阶段，技术选择会极大地影响成本和投资回报率。生成式AI的成本差异可能为10倍到20倍，而数字化转型的成本差异为1倍到5倍。

“我个人一直坚信伟大技术选择的力量，一个非常强大的商业案例，从技术和商业模式的角度做出正确的决定——可以大大降低你的成本。所以，前期的重大决策真的很重要。”