CIO越来越多地开始以更清晰的商业价值为重点审查生成式AI项目,特别是关注生成式AI技术的成本及其潜在优势。
这与生成式AI的早期有所不同,当时企业主要关注探索这项技术的可能性并孵化大量用例创意。随着组织寻求将生成式AI扩展到初始试点之外,这项技术的商业案例现在变得越来越重要。企业采用者中出现了两个相关的要求:确定投资回报率前景最好的用例,发现可能侵蚀财务收益的生成式AI成本。
在这种情况下,生成式AI遵循传统IT部署的路线,理想情况下,取决于财务原理和内部成本控制。
Insight Enterprises是一家位于美国亚利桑那州钱德勒的解决方案集成商,该公司北美首席技术官Juan Orlandini表示:“去年,我们看到了很多实验项目。今年,我们终于开始把生成式视为一种新的功能,我们仍然需要传统企业应用的论证和投资回报率。”
这对于那些生成式AI团队规模很小、预算有限、且容错空间很小的公司来说尤其重要。
Quility是一家总部位于美国北卡罗来纳州斯旺诺阿的在线保险(或保险科技)公司,该公司首席信息官Danielle Conklin表示,公司拥有一个包括她在内的两人数据科学团队。Conklin表示,Quility公司并没有局限于使用现成的大型语言模型来开发生成式AI,而是瞄准了创建自己的高级模型,早期用例包括客户参与和CRM。但她补充说,成本和投资回报率是他们的关键考虑因素。
Conklin说:“要达到较高的水平需要时间、人力和资源,两个人只能专注于一两件事。我们必须确保我们选择的是能够带来高投资回报的事情。”
她说,成本涉及的不仅仅是两个人的时间初始投资:“我们需要使用其他供应商吗?还是第三方数据?我们需要数据清理工具和数据质量工具吗?而且维护模型[和]更新模型也需要长期成本。”
揭示生成式AI的成本:管理变更和准备数据
IT领导者在更详细地研究生成式AI的经济效益时,可能会发现支出要高于预期。麦肯锡公司高级合伙人Aamer Baig表示,企业可能会被生成式AI相对较低的启动成本所吸引。麦肯锡的研究发现,生成式AI模型仅占典型项目成本的15%左右。
但与传统IT计划相比,其他不太明显的成本可能会太高项目的成本。
Baig在今年早些时候的2024年麻省理工学院斯隆CIO研讨会上表示:“我们都是在成本估算的某些正统观念中成长起来的。我们发现,很多正统观念对于生成式AI来说并不适用。”
Baig以变更管理为例,这是数字化转型项目的一大预算项目,对生成式AI的要求更高。
“几年前,我们说你需要为变更管理投入与开发一样多的预算,这引起了不小的轰动。现在[有了生成式AI],我们发现变更管理的投资高达[开发成本的]三倍。”
Baig表示,生成式AI与数字化转型一样,需要在工作流程、业务流程、政策和KPI方面做出改变。但生成式AI还涉及一些新的变革管理考虑因素,例如提示工程和专业的AI培训。
芝加哥技术咨询公司Thoughtworks首席AI官Mike Mason也提到了变革管理在生成式AI项目中的重要性。
“我们看到组织对变革管理关注得不够,当你谈论改变人类工作方式的时候,你不能忽视其中的变革管理方面。”
Mason还指出,AI准备就绪度是组织应在计算中包括的成本,其中包括数据是否准备好支持AI应用。他说,数据必须是可用的,而不是局限于存储孤岛中,并且在输入生成式AI系统之前必须经过清理。IT部门可能需要升级基础设施才能实现这一点。Mason补充说,采取的步骤可能包括云迁移和采用现代数据平台。
他分享了Thoughtworks生命科学客户的例子,这家客户追求数据现代化,以使数据更易获得,并支持生成式AI在药物研发中的应用。Mason解释说,这家公司的临床前试验数据分散在诸多数据存储中。因此,药物研究人员很难找到有关公司之前实验的信息,从而产生了不必要的重复测试成本。这家生命科学公司部署了一个数据网格,提供了一个统一的平台来访问实验和试验的数据。
“对现有数据的可视性,可以打造一个非常强大的投资回报案例,”Mason说。
与此同时,Quility也将数据作为自己生成式AI工作的一部分。这家保险公司使用Snowflake作为自己的企业数据仓库,使用Apache Kafka开源分布式事件流平台,支持组织中的数据管道和数据集成。
Conklin说:“我们希望成为一家数据驱动型公司,我们希望在决策时向员工提供信息。”
超越传统的运行成本与构建成本
运营生成式AI应用的持续费用,可能是阻碍投资回报的另一项意外成本。Baig表示,在数字化转型中,一个被普遍接受的预测是,运行应用的成本占构建成本的15%到30%。
“有了生成式AI,我谦虚地建议你把这个抛到九霄云外,”他指出,生成式AI模型的运行成本可能等于构建成本,具体取决于用例。
CIO们在大规模部署生成式AI时应该考虑到隐性成本。
Mason表示,运行模型和推理过程(模型解释新数据)的成本通常会使训练模型的成本相形见绌。还有一些成本可能是难以预测的,例如,生成式AI供应商为大型语言模型定价API调用方式,使定价和成本预测变得十分复杂。供应商使用代币系统来为调用定价,较长的文本响应会消耗更多代币。
“基于代币的定价对组织来说是新事物,我认为它不太可预测,”Mason说。
他说,当用户向大型语言模型输入的时候,结果得到的可能是简短或者详细的答案。因此,基于代币的定价使组织很难确定运行应用的实际成本,直到投入生产。
咨询公司EY的美洲技术、媒体和娱乐以及电信AI负责人Vamsi Duvvuri认为,成本不确定性是第一批生成式AI项目的收获之一。
他观察到:“企业仍在努力管理和预测生成式AI的成本。”
Duvvuri表示,大多数当前成本模型在即用即付的场景中都无法实现规模经济。他补充说,许多企业在开始使用生成式AI时采用的是即用即付的方法。
Duvvuri表示,成本方面有一个积极的进展:由于具有竞争力的定价和高效的架构,ChatGPT 4o或Claude 3.5等生成式AI模型的价格最近有所下降。然而,技术采用者仍然应该专注于控制生成式AI的费用。
“企业必须努力优化AI模型工作的单位成本,”Duvvuri表示。
他指出,IT领导者的任务是扩展AI系统的底层技术和功能模式。技术模式包括检索增强生成和多模型链接。RAG则用于提高大型语言模型的准确性,而模型链接旨在提高模型的输出质量。Duvvuri表示,功能模式包括总结/分类、翻译和组合。
Baig指出,在生成式AI部署的早期阶段,技术选择会极大地影响成本和投资回报率。生成式AI的成本差异可能为10倍到20倍,而数字化转型的成本差异为1倍到5倍。
“我个人一直坚信伟大技术选择的力量,一个非常强大的商业案例,从技术和商业模式的角度做出正确的决定——可以大大降低你的成本。所以,前期的重大决策真的很重要。”
好文章,需要你的鼓励
自2022年底生成式AI革命爆发以来,服务器支出也存在类似的态势。一旦企业发现自己必须投资购置或者租用搭载GPU加速器的设备,往往会选择扩展现有服务器机群,被用于投资新设备的支出则自然随之下降。英特尔正在加大对其“Sapphire Rapids”至强SP的投入,AMD在其“Genoa”Epyc 9004处理器上也采取了同样的做法。
生成式人工智能在企业中的一个突出用例就是客户服务和支持。大多数读者可能都曾作为客户经历过与传统自动客服系统打交道的沮丧。但这种情况正在发生变化,这要归功于时下强大的大型语言模型和自然语言聊天机器人。虽然有报告显示,我们在处理复杂或敏感的咨询时仍然更愿意与人类交谈,但在提供简单的帮助时,机器人的能力已经越来越强了。
从电子商务到非营利组织,利用企业数据资产可能是组织成败的关键。机器学习和生成式AI是其中的一个组成部分,但要成功地应用这些技术则评估AI对业务的实际影响。
在对生成式AI进行了近两年的试验之后,许多IT领导者已经准备好扩大规模了。然而,在此之前,他们需要重新考虑数据管理问题。