虽然还没有人知道如何阻止AI功耗呈现指数级的增长,但一些IT领导者已经找到了方法以减轻AI对可持续发展计划带来的影响。
去年,随着许多CIO开始进行第一轮Scope 3报告,AI几乎进入了每个办公室。有时AI是从“大门”进来的,但在大多数情况下,它是悄无声息地渗透进来的,因为知识工作者尝试用AI来编写文档和电子邮件,而不一定承认他们正在这样做。
在许多组织中,这种用例已经停止了,但一些IT部门现在正在批准——甚至鼓励——将AI用于编码等工作中。不过,有些组织仍然希望软件提供商可以提供包含了生成式AI组件的升级。然后在另一端,像瑞典金融科技公司Klarna这样的公司,不仅把生成式AI集成到一系列内部项目中,而且还集成到了他们销售的产品中,同时制定了AI治理策略,包括如何在项目中使用AI的指导方针。
自2022年11月ChatGPT问世以来,Klarna公司一直在大力发展AI,公司内部的普遍感觉是,生成式AI可以帮助组织中几乎所有人提高效率,无论他们是什么样的技能水平或角色。Klarna公司高级工程总监Martin Elwin表示:“目前我们正在研究整个公司大约一百个可能使用生成式AI的生产和开发计划,不仅是工程师在做这件事,从财务和法律到营销每个职能的人都在这么做。”
Klarna公司高级工程总监Martin Elwin
几周前,Klarna公司公布了一款AI助手,可以在很少、或者完全没有人工支持的情况下回答用户的问题。这款软件可以帮助消费者从最相关的商家那里找到他们想要购买的商品,并且为消费者提供支付和售后方面的支持。据Klarna公司沟通负责人Daniel Greaves称,这种生成式AI立即取得了成功。他说:“在推出后的大约四周时间内,这款AI助手就已经接手了我们三分之二以上的客户服务聊天请求,相当于大约700人的工作量。”
这些或者其他AI的用途,尽管听起来可能很有好处,结果可能却是让人大跌眼镜的。“表面上看,目前的情况是AI和可持续性是背道而驰的,”Rackspace Technology公司人工智能、技术和可持续性总裁Srini Koushik表示。“AI会消耗大量的电力,无论是训练大型语言模型还是运行推理。而这仅仅是个开始,功耗正在呈指数级的增长。”
然而,Koushik和许多其他技术专家认为,AI的好处远远超过其不断增长的碳足迹,而加密货币等其他耗能应用可能并非如此。AI有望帮助研究人员发现更高效的能源,例如核聚变,通过增强电力分配优化现有能源的利用率,并通过分析气候模式分析二氧化碳排放的影响。Koushik说:“AI将在很多方面造福人类,从我自己企业的角度来看,如果AI的好处之一是它让我不用再派人从纽约飞往伦敦,那么就相当于抵消了碳排放。”
Rackspace Technology公司人工智能、技术和可持续性总裁Srini Koushik
无论AI是否能长期兑现承诺,那些需要对全部碳排放影响进行核算的CIO们,现在都需要将AI的影响纳入他们的Scope 3报告中了,而这个情况很快就会变得非常复杂。例如,如果你使用由其他人训练的模型进行推理,则应该报告你在碳排放中所占的份额。这家提供商可能会告诉你培训的总成本,但没有人知道如何在模型整个生命周期内在所有用户之间如何分摊成本。
“目前尚不清楚,因为Scope 3报告是新的,生成式AI也是新的,”瑞士全球运输和物流公司Kuehne+Nagel的首席数字官、高级副总裁Niklas Sundberg这样表示。
尽管存在模糊性,但IT领导者仍在大力推进AI。在此过程中,一些人发现可以采取的三项措施来减轻对可持续发展计划的影响。
CIO可以更进一步,向提供商询问一系列问题,首先是他们如何训练模型以及如何运行推理。“如果你只购买推理服务,就问问他们如何解释所有上游的影响,”总部位于英国的Verne公司首席技术官Tate Cantrell这样表示,该公司为企业和超大规模企业提供数据中心解决方案。“推理输出只需一瞬间,但神经网络中的权重之所以如此,唯一的原因就是大量的训练才能让基础设施保持现状,而这些训练可能要花费一两个月的时间,功率高达100到400兆瓦,那么你应该为其中多少费用买单呢?”
Verne公司首席技术官Tate Cantrell
Cantrell敦促CIO们要向提供商询问他们自己的报告。“他们是否从可持续发展的角度公开报告了他们的服务对上游的全部影响?训练过程有多长,有效期有多长,以及这个权重影响了多少客户?”
Sundberg表示,理想的解决方案是让AI模型告诉你它的碳足迹。“你应该能够向Copilot或者ChatGPT询问你上次查询的碳足迹是多少,据我所知,目前没有任何工具可以回答这个问题。”
2、使用最合适的模型解决问题的每个部分
当Klarna开发他们的AI助手时,他们并没有使用一个AI模型来完成所有事情。相反,他们的过程是先评估服务的每一个步骤,以了解每个部分真正需要什么。“我们努力提高资源效率,确保使用尽可能小的模型,提供完成给定步骤所需的能力。”
Klarna通过发布指导方针来推广这个想法,以确保团队在构建其他解决方案时以这种方式进行思考。其中一个步骤可能需要一个综合模型,例如GPT-4,而服务的另一部分则可以使用GPT-35 Turbo这样更轻量级的模型。
较小的模型不仅在训练阶段需要较少的电力,而且在推理阶段需要的电力也更少。最终,企业要测量能耗,这可能是基于每个查询的,而较小模型的表现则要好得多。Koushik说:“在保险行业中,你不需要GPT-4来进行索赔裁决,你需要的是一个规模较小的、在更多领域特定数据上训练的东西,比使用GPT-4更准确地回答你所在领域的问题。”
Sundberg说,尽管大型企业已经使用机器学习很长一段时间了,他们的模型并不像大型开源模型那么复杂,“但他们在解决非常具体的企业问题(如定价和预测客户流失)方面做得更好。”
3、确定用例的优先级
CIO们可以平衡地看待用例并确定其优先级。Koushik说:“大多数人都不需要Copilot,写出更好的电子邮件的好处,不足以抵消订阅费用和二氧化碳排放量。另一方面,我们的法律部门确实从Copilot中受益,抵消了成本,因此我们已经将其推广给他们。”
Kuehne+Nagel公司首席数字官、高级副总裁Niklas Sundberg
对用例进行优先级排序,意味着IT领导者必须告诉一些用户,AI不是解决他们问题的合适方法。避免引起不满的最佳方法,就是尽早制定明确的指导方针。首先找到衡量AI工具碳足迹的方法,然后针对每个用例,将其与潜在收益进行对比。Sundberg说:“对于CIO来说,重要的是要有针对特定应用的二氧化碳排放量指标,这让他们能够权衡成本和收益。如果你自己不知道碳足迹有多少,请尝试询问你的软件厂商。”
但更具挑战性的是,厂商们并不总是会说出他们所知道的东西。“虽然AI可以带来很多可持续发展方面的机会,但它的阴暗面并没有被提及——当然不是又厂商来提的,他们太专注于在自己领域争夺顶级厂商的地位。”
好文章,需要你的鼓励
临近年底,苹果公布了2024年App Store热门应用和游戏榜单,Temu再次成为美国下载量最多的免费应用。
云基础设施市场现在已经非常庞大,很难再有大的变化。但是,因为人们可以轻松地关闭服务器、存储和网络——就像开启它们那样,预测全球云基础设施开支可能非常困难。