CIO调查：可操作化的生成式AI仍然是一个“移动中的目标”

生成式AI的飞速发展使得企业难以有效地实施和衡量这项技术，同时防范偏见和风险。

企业要么已经部署了生成式AI、要么正在积极探索生成式AI的速度，正在加快达到一个几乎没有什么企业会拒绝的转折点上。

2022年11月，还几乎没有什么企业使用生成式AI，唯一可用的工具就是AI图像或者早期的文本生成器。但是根据IDC的调查显示，到2023年5月，有65%的企业正在使用生成式AI，而到了9月这个数字上升至71%，另有22%的企业计划在未来12个月内实施生成式AI。

根据IBM在今年1月发布的一份报告显示，即使在起步阶段，生成式AI也已经成为一种公认的行动和应用方案，最常见的用例包括IT流程自动化、安全和威胁检测、供应链智能、客户服务和网络流程自动化。另外，当你添加了ChatGPT等基于云的生成式AI工具时，以某种形式使用生成式AI的用例几乎随处可见。

这还不包括现在嵌入了Office 365、Google Docs和Salesforce等平台的生成式AI。

然而，再深入到难度更大一些的实施环境中，就可能会出现各种问题，例如微调模型、向AI系统提供上下文和最新信息的矢量数据库，以及将AI集成到工作流程中的API。构建企业级生成式AI平台就像要射中一个移动的目标，AI的进步速度远远快于他们能够适应的速度。

卡内基梅隆大学人工智能教授Anand Rao表示：“这使得组织实施生成式AI变得充满挑战。不同的工具、模型和向量数据库不断发展，新的论文不断涌现，这对企业来说非常具有挑战性。他们需要稳定。告诉我接下来三个月要做什么；不要每两周一切就都变了。”

根据英特尔cnvrg.io在去年12月发布的调查结果显示，由于这一挑战的复杂性，加上所涉及的成本和所需的专业知识，去年只有10%的组织实际上能够将生成式AI模型投入生产。

但这并不意味着企业应该坐等事情平息下来。为了帮助重新获得主动权，现在可以应用一些最佳实践来开始构建生成式AI平台——这些实践将使其能够随着技术的变化而快速适应，包括构建强大的现代数据和API基础设施、在企业应用和他们使用的AI模型之间构建一个AI抽象层、设置安全和成本策略、使用护栏和道德框架来指导他们部署生成式AI的方式。

数据和API基础设施

“数据仍然很重要，”伦敦独立分析师和咨询公司Omdia的AI平台、分析和数据管理首席分析师Bradley Shimmin这样表示。然而，根据IBM的调查，数据复杂性是继缺乏专业知识之后采用的第二大障碍，对于那些希望将大型语言模型投入生产环境的企业来说，基础设施是最大的挑战。

另一个挑战是企业由于数据管理能力不足而无法满足业务的需求。麦肯锡公司合伙人Nayur Khan表示，最重要的一个问题就是大多数组织都没有计划。“他们尝试做一些事情，看看什么能坚持下去。”但随着生成式AI模型以服务的形式（例如OpenAI API）提供，在某些用例中，企业可以跳过去直接把AI部署为服务。

Khan说：“现在生成式AI成为我可以调用的服务，我不必担心训练的问题，这很好，但是语言模型对于语言来说非常有用，模型不擅长知识，”知识是存在于组织内部的。

例如，一家零售企业可能拥有360度的客户视图，这些视图全部输入到分析引擎、机器学习和其他传统AI中，以计算下一个最佳行动策略，然后生成式AI可以用其向客户发送个性化的消息。因此，通用语言模型通过使用企业数据成为一种有用的业务工具，每个人都在尝试构建这种类型的应用。

Khan说：“我在所有行业都看到了这种情况的发生，从高科技和银行业一直到农业和保险业。”他说，这迫使企业加快了数字化的步伐，解决所有他们说过要做但从未抽出时间去做的事情。

企业不仅必须具备基本的构建能力用于分析和MLOps，而且还需要专门为生成式AI构建新的数据结构和管道。

当一家企业想要在特定领域微调模型或创建新模型的时候，就需要做出关于采用什么数据架构、采用哪种模型或者模型类型等等。全球数字咨询公司Publicis Sapient的高级副总裁Sheldon Monteiro表示：“这让复杂性陡然增加。”

即使是一个较为简单的项目，比如向现有的AI模型添加外部数据源，也需要矢量数据库、恰当的模型选择和工业级管道。

但这一切都始于数据，而这是许多企业落后的方面。如果没有单一的整体战略，每个部门都会制定他们自己的解决方案。

Monteiro表示：“如果你这样做了，最终就会犯更多的错误，一遍又一遍地重新学习同样的事情，作为CIO，你必须采取架构上的方法并且投资一个通用的平台。”

然后是收集和准备数据这项艰苦的工作。他说，质量检查和验证，对于建立坚实基础来说是至关重要的，这样就不会引入偏见，从而损害客户和业务。

因此，如果特定数据集排除了最高价值的交易处理，因为这些交易都是手动处理的，那么生成的模型可能会偏向规模较小的、利润较低的业务线。垃圾进、垃圾出，这适用于生成式AI的新时代，就像以前各种技术发展时代一样。

Monteiro表示，对于已经投资了数据基础设施的企业来说，这些投资将在未来继续获得回报。他表示：“投资了数据基础的企业在生成式AI方面拥有巨大的领先优势。”

尽管如此，这些最初为高级分析和机器学习用例设计的传统数据基础也只能走到这一步了。

Omdia公司的Shimmin说：“如果你想超越基础知识这个层面，你就需要了解生成式AI的一些更深层次的微妙之处。不同的嵌入模型之间有什么区别，什么是分块，什么是重叠？你可以使用哪些不同的方法以最有效的方式对数据进行标记？你想要高维的还是低维的方法来节省矢量数据库的空间？我们的MLOps工具并不是为了做到这一点而构建的。这一切都非常复杂，如果你不知道自己在做什么，就可能会浪费掉大量的时间和金钱。”

但他表示，MLOps平台厂商正在加紧努力。“Dataku、DataRobot和Databricks等公司都提供了对LLMOps或者GenAIOps的支持，所有的小细节都开始就位了。”

分析抽象层

去年11月，OpenAI出人意料地解雇了首席执行官Sam Altman，引发了一场马戏团般的寻找新CEO的争夺战，员工威胁要罢工，而微软则提出要接纳所有人。在那段动荡的日子里，许多使用OpenAI模型的企业突然意识到，他们把所有的鸡蛋都放在了一个不稳定的篮子里。

Constellation Research副总裁兼首席分析师Dion Hinchcliffe表示：“我们看到了很多和OpenAI的集成，但是OpenAI发生的整个管理问题让人们质疑他们是否做出了过度承诺。”

即使一家企业没有倒闭，也可能很快就会被淘汰。去年夏初，ChatGPT几乎是市场中的唯一，然后Facebook发布了Llama 2，对大多数企业客户免费，随后是Anthropic推出的Claude 2，提供了200000个token的上下文窗口——这足以让用户将相当于一本600页的书剪切并粘贴到提示中，也把GPT-4的32000个token甩在了身后。然而，谷歌也不甘示弱，2月宣布新的Gemini 1.5可以处理多达1000万个token，有了这个，再加上提高了对视频、音频和书面副本处理的速度、效率和准确性，几乎就没有限制了。

免费开源模型的数量以及特定行业模型的数量持续激增，这些模型经过金融、医学或材料科学等方面的预先训练。

“似乎每周都会有新公告发布，”Publicis Sapient的Monteiro说道。

他说，这就是“模型花园”的用武之地。如果企业严格选择和管理模型，并构建系统以便可以轻松地换入和换出模型，那么就能够应对这一领域的波动。

但这个抽象层需要做的不仅仅是允许企业升级模型或为每个特定用例选择最好的模型。

技术和咨询公司Wipro Technologies的首席技术官Subha Tatavarti表示，这个抽象层还可以用于可观察性、计量和基于角色的访问控制。

她说，Wipro公司有245000名员工，别无选择，只能采用生成式AI，因为客户对此是抱有期望的。

“我们本质上是一家科技公司，我们必须这么做。”

拓宽视野

可观察性使企业能够了解数据的去向、使用的模型、提示以及响应需要多长时间才能返回，还可以包括编辑或混淆敏感数据的机制。

一旦企业知道模型发生了什么，就可以实施计量控制——例如限制特定模型的使用量——以避免成本出现意外的飙升。

Tatavarti说：“目前，计量的工作方式是token消费模式，这种方式可能会变得成本非常高。”

此外，针对常见问题解答这个场景，企业可以缓存响应以节省时间和金钱。对于某些用例，可能不需要昂贵的高端商用大型语言模型，因为本地托管的开源模型可能就足够了。

“所有这些都让我们着迷，我的团队正在努力解决这个问题，这对我们来说是当务之急。”

当涉及访问控制时，基本原则应该是永远不要向组织公开原生API，而是有一个中间层来检查权限并处理其他安全和管理任务。

IT企业Xebia的首席数字官Rajat Gupta表示，例如，如果人力资源平台使用生成式AI来回答基于政策和其他信息向量数据库的问题，那么员工应该能够询问有关自己工资的问题,但不能询问关于其他员工的问题——除非他们自己是经理或在人力资源部门工作。

考虑到生成式AI在企业中跨不同业务部门和职能部门迅速普及，要从头开始针对每个场景构建这些控件，将是一场噩梦。

他说：“工作量将是巨大的，而且会引发混乱。”

Gupta也认同需要构建此类功能的企业应该构建一次然后再复用。他说：“把他们所需一切的共同点提取处理啊，例如安全、监控、访问控制，将其构建为企业级平台的一个组成部分。”

他将这称为AI网关，开源MLflow AI Gateway就是一个例子。MLflow AI Gateway是在去年5月发布的，现已经被弃用，取而代之的是MLflow Deployments Server。他的公司使用的另一个工具是Arthur AI的Arthur Shield，一个针对大型语言模型的防火墙，会过滤提示注入攻击、脏话和其他恶意或危险提示。

然后是Ragas，它可以帮助根据矢量数据库中的实际信息检查生成式AI的反应，以提高准确性并减少幻觉。

“开源和商业领域有很多这样的项目，”他说。

第三方AI平台、初创公司和顾问也纷纷涌入，以填补各项空白。

Gupta说：“AI生态系统的发展方式令人惊讶，我们原以为步伐会放慢，但事实并非如此，速度迅速加快。”

因此，为了更快地进入市场，Xebia正在将这些不同的项目编织在一起，他说，但这并不能帮助AI公司不断推出新的东西，例如由AI驱动的自主代理。

“如果你正在使用自主代理，如何实际衡量整个代理项目的效率？实际监控和控制是一个挑战。”

如今，Xebia限制了代理的自主权，只允许他们执行非常有限和精确的任务。“这是目前唯一的方法，限制他们可以使用的技能，并设置一个中央控制器，这样他们就不会互相交谈。我们对其进行控制，直到我们有更进化的理解和反馈循环。这是一个非常新的领域，所以要看看未来会如何发展。”

构建护栏

根据cnvrg.io的调查，对于那些实施生成式AI的企业来说，合规性和隐私是他们最关心的问题，其次是可靠性、成本和技术技能匮乏。

同样地，根据IBM的调查，对于那些尚未实施生成式AI的企业来说，其中有57%的受访者将数据隐私视为一大障碍，43%的受访者将透明度视为障碍。此外，有85%的受访者表示，消费者更有可能选择那些具有透明性且道德AI实践的公司，但只有不到一半的受访者致力于减少偏见、跟踪数据来源、致力于使AI可解释或制定道德的AI政策。

技术人员很容易专注于技术解决方案。道德AI超越了技术的范畴，还涉及法律和合规性，以及企业价值观和身份问题。因此，这是首席信息官或者首席人工智能官可以挺身而出、为大型组织提供指导的一个方面。

甚至比这更进一步。建立生成式AI友好型数据基础设施、安全和管理控制以及道德准则可能是全面实施大型语言模型的第一步。

安永美洲新兴技术负责人Matt Barrington表示，生成式AI将要求CIO们重新思考技术。他说，在AI出现之前，软件是具有确定性的。

他说：“你需要设计、构建、测试和迭代，直到软件按预期运行。如果没有按预期运行，那就是一个错误，你会回去修复它。如果按预期运行，你就可以将它部署到生产中。”无论软件模式如何，所有大型计算堆栈都是具有确定性的。他说，现在，除了量子计算之外，生成式AI是第一个广为人知的、具有非确定性的软件模式。“错误实际上就是功能。它可以自行生成东西，这是它的主要卖点。”

但这并不意味着旧的东西应该全部扔掉。他说，MLOps和Pytorch仍然很重要，以及你要知道什么时候要做RAG嵌入模型、DAG或者采用多模态以及为生成式AI准备数据一样。

“所有这些事情都将保留下来并且很重要，但是，将会出现一个新的非确定性平台堆栈，与传统堆栈并存，具有全新的基础设施工程和运营领域，以支持这些功能。”

他表示，这将改变企业在核心层面的运营方式，朝着这个方向成为真正的AI驱动型企业，将成为一个快节奏的转变。他说：“看到这些变化的发生，将会是一件非常酷的事情。”