CIO要权衡AI发展过快给企业带来的风险

加入AI的潮流可能会适得其反，但发展过慢也不是明智之举，找到最理想的速度，要取决于一系列因素，首先是健康的风险偏好。

谈到AI，错失机会的恐惧是真实存在的。根据Coleman Parkes Research代表Riverbed进行的研究，有91%的大企业决策者担心，如果他们的竞争对手在AI方面取得领先，就将占据优势。因此，几乎每位受访者都表示，在未来18个月内，他们将使用、测试或规划与AI相关的项目。

根据标普全球市场情报公司9月份发布的一项调查显示，AI的采用率空前高涨，使生成式AI现在已经超越了企业中采用的其他所有AI应用。有近四分之一（24%）的企业组织已经把生成式AI作为整个组织的一项综合能力，有37%的企业组织已经把生成式AI投入生产，但尚未完全扩展开来。

Forrester Research分析师Alla Valente表示：“FOMO绝对是真实存在的，尤其看到每个组织都有某种AI战略时，而且行动过快也存在危险，包括负面公关、合规或网络安全风险、法律责任，甚至集体诉讼。

即使生成式AI结果失败没有达到引起公众尴尬或诉讼的程度，但仍会抑制企业的风险偏好，使其不愿启动更多的AI项目。

“那些不愿意在生成式AI方面冒险的企业组织，将无法快速发展或创新，长期来看将遭受损失。即使在中期，他们的市场份额也会被竞争对手抢走，”Valente说。

这并不意味着立即在各个方面部署生成式AI。

她说：“企业真的需要考虑‘金发姑娘’的方法，对他们来说就是要‘恰到好处’，意味着要考虑他们的风险偏好、风险管理成熟度和生成式AI治理框架。”

让AI远离公众

企业应该谨慎行事的其中一个方面，就是在面向公众的项目中采用生成式AI。

自2022年底ChatGPT推出以来，很多企业都因为部署过快而陷入困境。一家航空公司的聊天机器人给了一位客户不该给的折扣，法院判定该航空公司负有责任。谷歌的AI告诉用户要在披萨上涂胶水，以防止奶酪滑落。最近，埃隆·马斯克的Grok AI被发现传播有关选举的错误信息，迫使五位国务卿向母公司X发出一封公开信，要求修复这种聊天机器人。

这使得一些企业不愿将他们的AI公之于众。相反，他们会把这项技术重点聚焦在内部运营上，这样即使出现问题，仍然可以发挥有意义的作用，而不会造成巨大的公关灾难。

例如，财富1000强科技咨询企业Connection正在内部使用AI进行一些项目，例如基于Fisent的流程自动化解决方案BizAI支持的工作流程，用于将客户采购订单与销售记录进行比较，提供建议是否应批准订单。

Connection使用Pega Platform根据业务规则和逻辑管理公司多个领域的工作流程，以智能地推动工作。现在借助BizAI，Connection就可以进行数字化以及关键业务流程的自动化。

“我们每年从很多尚未与我们进行电子整合的中小型企业那里获得50000到60000份不同的客户采购订单，”Connection公司流程优化和转型高级总监Jason Burns说道。

例如，这些客户可能会将PDF、电子表格、图像文件或其他类型的文档附加到电子邮件中，或者将采购订单直接粘贴到电子邮件正文中。

“在采用AI之前，审核过程都是手动的，需要人工地把采购订单硬拷贝与我们系统中的条目进行比较。”公司内有大约有十几个人从事这项工作，由于文件堆积如山，从订单到达到有人能够查看并做出决定，通常需要长达四个小时的时间。而采用了生成式AI进行初步比较和建议之后，周转时间现在仅为两分钟。

例如，生成式AI可以帮助确定订单是否是发送给Connection的；有时客户会错误地将采购订单发送给错误的供应商。生成式AI还会检查地址是否匹配，而这对于以前的AI来说是很难做到的。生成式AI还会把有关客户想要产品的描述与Connection内部SKU进行匹配。

Burns说：“我们的客户不知道我们的内部SKU，他们可能会以一种方式描述产品，我们可能会以另一种方式描述产品，而我们的AI则能够非常有效地将两者关联起来。”

他补充说，AI被设置为比人类更保守。如果有任何不清楚的地方，它就会默认返回进行人工审核。由于AI只处理呈现给它的信息，不会生成新的内容，只是提出简单的建议，因此幻觉的几率也被降到了最低。

Burns说：“到目前为止，我们还没有遇到过AI建议将订单移至下游而人类审核员不同意的情况。”更可能的情况是，AI会拖延订单以供人工审核，而人工审核人员表示可以继续执行。“我们发现AI的可靠性比我们最初预期的还要高，甚至我们正在考虑如何让AI放松下来，对文档的批评少一点。”

Connection下一步的计划是在十几个其他类似的内部用例中部署AI，并帮助生成代码、写信和总结会议。Burns说：“潜在生产力的提升是巨大的，我们需要在这方面继续探索。”

但考虑到额外的风险，Connection目前尚未开发面向客户的AI。他说：“谈到AI，风险承受能力确实是当务之急。我们认识到了AI的巨大潜力，但首要任务是我们的客户、他们的数据和安全，以及提供出色的成果。技术会随着时间的推移而发展，我们也会随之发展前进。”

让人类参与其中

TaskUs是一家拥有约50000名员工的业务流程外包商，该公司也把AI纳入到了公司内部，但主要集中于有人在场以发现任何问题的场景。

“我们不希望AI是自行发展的，”TaskUs公司首席信息官Chandra Venkataramani说。

该公司创建了一个名为TaskGPT的内部平台，帮助员工为客户提供支持，并且已经看到效率提高了15%至35%。AI也开始用于内部自动化和其他生产力效益。

Venkataramani举了加拿大航空公司的例子，称他们的聊天机器人向客户承诺折扣，但公司拒绝了，后来被迫兑现。这是一个警示性的例子，说明了面向公众的AI为何如此危险。相反，这些工具目前主要被用来帮助为人们提出建议和推荐。

他说：“这样，团队就可以控制它，他们可以说，‘这听起来不对劲。我不会把它发给我的客户。’人工干预非常重要。”因此，他正在推动内部团队更多地使用AI，但只是为了提高效率。“我们正在推动我们的客户采用AI，但我们不会鲁莽地使用它。如果我们能获得20%的改善和100%的安全，或者30%/40%的改善但并不安全，我们会选择前者，安全和保障是我们最关心的问题。”

事实上，很多AI问题都可以通过人工监督来避免。Champlain College在线运营副总裁Christa Montagnino说：“幻觉是会发生的，AI经过训练是为了取悦我们，不一定完全准确。”该学院一直在使用生成式AI来帮助教学设计师和学科专家打造在线课程。她说，过去这个过程很麻烦，教师不一定接受过教育设计方面的培训，他们要和教学设计师配合工作。一门为期七周的课程需要大约15周的时间才能完成，但有了AI之后，时间就缩短了一半。

尽管如此，人为因素仍然是这个过程中的关键部分。她说：“我们现在从生成式AI开始，然后让主题专家与教学设计师一起工作，他们是这些信息的编辑；他们带来对学生有意义的东西，以及其中需要包含的资源。”

她说，加入AI还可以减少一些常规管理任务和负担，使教师能够花更多时间和学生在一起。

然而，帮助企业处理工伤事故的Company Nurse公司却吃了苦头。该公司使用AI自动化了QA流程，那些为客户组织的员工提供医疗建议的护士，会立即得到关于他们在这些通话中做错什么的反馈。

“我们认为，如果我们能为代理提供更多关于做错了的事情的反馈，他们犯的错误就会更少。”该公司首席技术官Henry Svendblad说。然而，护士们开始辞职，离职率从百分之十几的低位上升到百分之三十多，这在一定程度上与疫情的开始和大量辞职有关，但一部分原因是代理们很快就收到了太多的负面反馈。

“我们从代理那里听到了强烈的反馈，告诉他们在每次互动中犯的每个错误，这并没有带来积极的工作满意度，我们看到过这样的情况，新员工收到设备后，却不愿意继续工作了，这种情况以前从未发生过。”

为了解决这个问题，TaskUs让人类代理重新参与进来，聘请了一位人力发展经理，开始更多地关注护士所做的积极方面，而不仅仅是消极方面。“我们在自动化QA方面确实放慢了速度。”

避免敏感信息

Champlain的Montagnino表示，该学院愿意使用AI来帮助开发课程内容或营销材料，因为这并不涉及让AI访问敏感信息。

但她表示，在处理涉及学生数据的项目时情况并非如此，因此这类举措将在以后推出。“我觉得，我们现在最好的机会在于产品开发和吸引未来的学生方面。”

临床试验公司Fortrea最近从LabCorp分拆出来，该公司也在谨慎地选择隐私风险最小的项目，首席信息官Alejandro Martinez-Galindo说：“我们有巨大的机会，可以把临床试验提升到一个新的水平。我们最近推出了一个ML和AI工作室，在这个领域我们正在推动创新。”

例如，Fortrea正在为其技术堆栈部署微软的Copilot助手。他说：“它开始像野火一样蔓延，因为我们在组织中取得了一些有趣的成果，这也是我们为组织带来的一个智能层。”

该公司已经把收集提案请求信息所需的时间缩短了30%。“这给了我们巨大的生产力，而且产品质量比过去好得多。”因为AI现在可以从多个孤立的来源获取信息，但是作为一家医疗保健组织，Fortrea还必须对他们部署的技术非常谨慎，以避免存在任何合规性问题。

“我们必须在创新速度与合规性、安全性这两者之间取得平衡，我们是快速的追随者。”例如，临床试验是非常耗费纸张的，当临床研究助理去一个办公点的时候，会收集大量的信息。但公司对哪些信息先由AI处理是非常苛刻的。

“我们需要从隐私官那里获得许可，以确保我们正在构建的任何东西都是合规的，首席安全官对我们的选择有很大的发言权。”

例如，未来可能会部署一种可以帮助扫描文档的技术，这项技术带有过滤器以确保不会意外泄露患者信息。但如今，在临床试验现场访问方面，该公司首先关注的是非敏感类型的信息，例如正在使用的物理设备。

“我们可以给冰箱拍照，扫描维护的时间和温度，希望确保设施内所有条件都是到位的。”

花时间做基础工作

除了公众尴尬、客户或员工流失、法律和合规责任外，过快采用生成式AI还存在其他技术风险。

例如，那些在部署AI之前没有做好充分基础工作的企业，可能没有恰当的数据基础或适当的防护措施，或者可能行动过快，无法完全信任单一的供应商。

安永美洲区生成式AI负责人David Guarrera表示：“企业组织将面临很大的风险，他们会将自己锁定在多年支出或承诺上，但一两年后就会发现，还有更便宜的、更好的方法。”有些组织在没有考虑整个企业的技术战略的情况下，就进入了AI领域。

“现在有很多组织正在推出数十或数百个原型，他们可能有一个由技术厂商开发的合同分析工具，以及一个由首席财务官办公室另外开发的合同分析工具，他们甚至可能彼此都不知道。我们可能会有大量的原型被推出，但无处可去，最终就消失了。”

然后还会浪费金钱。“假设一个组织有FOMO，购买了一堆GPU，却没有问企业是否真的需要GPU。在这方面投资，可能会让你错失在数据领域真正需要的东西，这也是一种风险。也许你真正需要的是更多的数据治理或数据清理。”

急于启动试点并做出草率的支出决定，是因为每个人都很恐慌，想要尽快掌握生成式AI。“但有办法利用这项技术，尽量减少未来可能的遗憾，”他补充说。

对于小型初创公司来说，“快速行动，打破常规”或许是一句不错的口号，但对于大型组织来说，这句口号并不适用。“你可不会想让数十亿美金和你的市场面临风险，”Guarrera说道。