CIO趋势:投资回报率成为焦点 谨慎权衡生成式AI的成本

CIO越来越多地开始以更清晰的商业价值为重点审查生成式AI项目,特别是关注生成式AI技术的成本及其潜在优势。

CIO越来越多地开始以更清晰的商业价值为重点审查生成式AI项目,特别是关注生成式AI技术的成本及其潜在优势。

这与生成式AI的早期有所不同,当时企业主要关注探索这项技术的可能性并孵化大量用例创意。随着组织寻求将生成式AI扩展到初始试点之外,这项技术的商业案例现在变得越来越重要。企业采用者中出现了两个相关的要求:确定投资回报率前景最好的用例,发现可能侵蚀财务收益的生成式AI成本。

在这种情况下,生成式AI遵循传统IT部署的路线,理想情况下,取决于财务原理和内部成本控制。

Insight Enterprises是一家位于美国亚利桑那州钱德勒的解决方案集成商,该公司北美首席技术官Juan Orlandini表示:“去年,我们看到了很多实验项目。今年,我们终于开始把生成式视为一种新的功能,我们仍然需要传统企业应用的论证和投资回报率。”

这对于那些生成式AI团队规模很小、预算有限、且容错空间很小的公司来说尤其重要。

Quility是一家总部位于美国北卡罗来纳州斯旺诺阿的在线保险(或保险科技)公司,该公司首席信息官Danielle Conklin表示,公司拥有一个包括她在内的两人数据科学团队。Conklin表示,Quility公司并没有局限于使用现成的大型语言模型来开发生成式AI,而是瞄准了创建自己的高级模型,早期用例包括客户参与和CRM。但她补充说,成本和投资回报率是他们的关键考虑因素。

Conklin说:“要达到较高的水平需要时间、人力和资源,两个人只能专注于一两件事。我们必须确保我们选择的是能够带来高投资回报的事情。”

她说,成本涉及的不仅仅是两个人的时间初始投资:“我们需要使用其他供应商吗?还是第三方数据?我们需要数据清理工具和数据质量工具吗?而且维护模型[和]更新模型也需要长期成本。”

揭示生成式AI的成本:管理变更和准备数据

IT领导者在更详细地研究生成式AI的经济效益时,可能会发现支出要高于预期。麦肯锡公司高级合伙人Aamer Baig表示,企业可能会被生成式AI相对较低的启动成本所吸引。麦肯锡的研究发现,生成式AI模型仅占典型项目成本的15%左右。

但与传统IT计划相比,其他不太明显的成本可能会太高项目的成本。

Baig在今年早些时候的2024年麻省理工学院斯隆CIO研讨会上表示:“我们都是在成本估算的某些正统观念中成长起来的。我们发现,很多正统观念对于生成式AI来说并不适用。”

Baig以变更管理为例,这是数字化转型项目的一大预算项目,对生成式AI的要求更高。

“几年前,我们说你需要为变更管理投入与开发一样多的预算,这引起了不小的轰动。现在[有了生成式AI],我们发现变更管理的投资高达[开发成本的]三倍。”

Baig表示,生成式AI与数字化转型一样,需要在工作流程、业务流程、政策和KPI方面做出改变。但生成式AI还涉及一些新的变革管理考虑因素,例如提示工程和专业的AI培训。

芝加哥技术咨询公司Thoughtworks首席AI官Mike Mason也提到了变革管理在生成式AI项目中的重要性。

“我们看到组织对变革管理关注得不够,当你谈论改变人类工作方式的时候,你不能忽视其中的变革管理方面。”

Mason还指出,AI准备就绪度是组织应在计算中包括的成本,其中包括数据是否准备好支持AI应用。他说,数据必须是可用的,而不是局限于存储孤岛中,并且在输入生成式AI系统之前必须经过清理。IT部门可能需要升级基础设施才能实现这一点。Mason补充说,采取的步骤可能包括云迁移和采用现代数据平台。

他分享了Thoughtworks生命科学客户的例子,这家客户追求数据现代化,以使数据更易获得,并支持生成式AI在药物研发中的应用。Mason解释说,这家公司的临床前试验数据分散在诸多数据存储中。因此,药物研究人员很难找到有关公司之前实验的信息,从而产生了不必要的重复测试成本。这家生命科学公司部署了一个数据网格,提供了一个统一的平台来访问实验和试验的数据。

“对现有数据的可视性,可以打造一个非常强大的投资回报案例,”Mason说。

与此同时,Quility也将数据作为自己生成式AI工作的一部分。这家保险公司使用Snowflake作为自己的企业数据仓库,使用Apache Kafka开源分布式事件流平台,支持组织中的数据管道和数据集成。

Conklin说:“我们希望成为一家数据驱动型公司,我们希望在决策时向员工提供信息。”

超越传统的运行成本与构建成本

运营生成式AI应用的持续费用,可能是阻碍投资回报的另一项意外成本。Baig表示,在数字化转型中,一个被普遍接受的预测是,运行应用的成本占构建成本的15%到30%。

“有了生成式AI,我谦虚地建议你把这个抛到九霄云外,”他指出,生成式AI模型的运行成本可能等于构建成本,具体取决于用例。

CIO们在大规模部署生成式AI时应该考虑到隐性成本。

Mason表示,运行模型和推理过程(模型解释新数据)的成本通常会使训练模型的成本相形见绌。还有一些成本可能是难以预测的,例如,生成式AI供应商为大型语言模型定价API调用方式,使定价和成本预测变得十分复杂。供应商使用代币系统来为调用定价,较长的文本响应会消耗更多代币。

“基于代币的定价对组织来说是新事物,我认为它不太可预测,”Mason说。

他说,当用户向大型语言模型输入的时候,结果得到的可能是简短或者详细的答案。因此,基于代币的定价使组织很难确定运行应用的实际成本,直到投入生产。

咨询公司EY的美洲技术、媒体和娱乐以及电信AI负责人Vamsi Duvvuri认为,成本不确定性是第一批生成式AI项目的收获之一。

他观察到:“企业仍在努力管理和预测生成式AI的成本。”

Duvvuri表示,大多数当前成本模型在即用即付的场景中都无法实现规模经济。他补充说,许多企业在开始使用生成式AI时采用的是即用即付的方法。

Duvvuri表示,成本方面有一个积极的进展:由于具有竞争力的定价和高效的架构,ChatGPT 4o或Claude 3.5等生成式AI模型的价格最近有所下降。然而,技术采用者仍然应该专注于控制生成式AI的费用。

“企业必须努力优化AI模型工作的单位成本,”Duvvuri表示。

他指出,IT领导者的任务是扩展AI系统的底层技术和功能模式。技术模式包括检索增强生成和多模型链接。RAG则用于提高大型语言模型的准确性,而模型链接旨在提高模型的输出质量。Duvvuri表示,功能模式包括总结/分类、翻译和组合。

Baig指出,在生成式AI部署的早期阶段,技术选择会极大地影响成本和投资回报率。生成式AI的成本差异可能为10倍到20倍,而数字化转型的成本差异为1倍到5倍。

“我个人一直坚信伟大技术选择的力量,一个非常强大的商业案例,从技术和商业模式的角度做出正确的决定——可以大大降低你的成本。所以,前期的重大决策真的很重要。”

来源:至顶网CIO与CTO频道

0赞

好文章,需要你的鼓励

2024

09/13

10:15

分享

点赞

邮件订阅