可持续性和风险的权衡：CIO为何考虑使用小型语言模型

生成式AI有着不可否认的前景，但大型语言模型可能不是将其应用于企业的方式。现在出现了一种基于特定数据的、能耗较低的小型模型，这些模型可以让IT保持掌控权。

随着GPT-4通过图灵测试，微软将自己的AI助手Copilot融入企业产品，以及谷歌宣布在意大利市场推出的手机上安装Gemini应用，CIO们正在研究生成式AI技术以跟上发展步伐——但不会被技术热潮或者商业提议分散注意力。

意大利研究和教育界专用宽带网络GARR首席技术官兼基础设施部门负责人Massimo Carboni表示：“生成式AI可以带来很多好处，但如果没有适当的考虑就不能采用它。相关炒作非常多，但高估其可能性的风险也同样很高。在数字世界中，我们必须越来越小心，AI和生成式AI的第一个风险就是过于信任。”

此外Gartner最近估计，全球企业在生成式AI技术上的支出并不突出。Gartner预计今年的IT总投资额为5万亿美金，与2023年相比增长8%，其中生成式AI的占比并不大。相反，支出是由更传统的力量推动的，例如经典IT服务，价值超过1.5万亿美金，同比增长9.7%。

相比之下，大型服务提供商正在成倍增加对技术的投资，以支持生成式AI项目，并且预计到2024年，AI应用服务器将占超大规模服务器总投资的近60%。不过，企业需要更加谨慎。Gartner认为，生成式AI要有一个“故事、计划、执行”的周期，2023年生成式AI被人们所热议，2024年计划实施，2025年具体执行。

CIO审查下的生成式AI

Inewa公司首席信息官Edoardo Esposito是Elevion Group的成员，该集团是一家活跃于沼气和生物甲烷生产和能源效率领域的认证ESCO，目前正处于测试Copilot的规划阶段，因为inewa的IT全部都是在微软系统上的，而且Copilot产品与Office套件完美集成。这项测试他是和其他高管一起进行的，例如首席财务官、法律总监以及机构关系和监管总监。

“我们正在测试金融领域的应用，比如收入和支出的财务分析，我认为这方面机会最大。我认为目前它在法律领域的应用前景并不乐观，但我们正在尝试使用生成式AI来管理合同和研究法律。”

当然，AI不会提供法律建议，但有助于驾驭不断更新的或者更改的大量规则。

“即使是利用AI生成一份关于新法律的简单摘要，发送给高管进行审查，也会有所帮助。最终，对于我们这样的小企业来说，每月30美元的费用，就像在办公室里多了一个员工。”

尽管他对简单任务实施自动化毫不犹豫，但他并不相信AI可以完全自动化某些复杂任务，会存在其他问题。“这些模型在我看来似乎不可持续，它们有巨大的参数，需要大量的精力来训练，”他说。

AI的不可持续性

Carboni还强调了AI的能源密集程度，以及本就很高的成本。

“ICT占全球总能源成本的9%，即2023年约3000亿美金。这个比例在过去10年增长了60%，而且还会进一步增长。”

Carboni认为，培训方面也存在问题。“生成式AI正在颠覆传统的以人为本的方法。现在不是由人来训练模型，然后改变公司组织，而是人们必须适应来自市场的模型。这对我来说是一种风险。生成式AI的参与者越少，就越会造成公司对它的依赖以及失去控制。”

此外，Carboni补充说，AI可能会将数字功能限制在决定行为和成本等少数领域，因为AI的进入门槛很高，大多数公司只能是购买服务，而没有相应的知识来区分一种产品和另一种产品之间的差异。选择很少，风险在于产品标准化。“所以在我看来，继续内部开发一些东西总是更好的。”

与大型科技公司展开竞争

企业之间的竞争日益激烈，包括Carboni在内的很多人都认为，大型厂商销售其模型的方式在很多方面都是不公平的，因为一些市场参与者拥有其他参与者所没有的能力。

“像微软和谷歌这样的厂商拥有产品生态系统，这种控制着高达80%数据市场的寡头垄断，相比其他公司具有巨大的优势。大型科技企业的战略还在于整合初创公司，以加强它们对数据的主导地位。”因此，很难想象有新进入者能够与之竞争。提供替代产品的初创公司当然存在，而且是开发算法的一种好方法，但这些还不足以取得成功。

对于Carboni来说，这并不意味着AI的失败，而是希望深入研究和治理AI。他说：“我相信AI非常重要，我们将致力于此，因为我们有大量数据可以利用。我们的目的是推导出一个生成式AI模型，以更好地定义我们内部的知识库。目前，这个模型尚未公开，但如果我们想公开的话，就必须开发用于外部浏览的模型。为此，我们可以使用小型语言模型。”

小型语言模型：CIO寻求控制权的一种方式

小型语言模型（SLM）是在比大型语言模型（大型深度学习模型，GPT等产品就是基于这种模型的）小得多且更具体的数据集上训练机器学习算法。初步测试表明，小型语言模型在执行任务时效率更高、成本更低、准确性更高。事实上，Esposito也在关注小型语言模型的发展，认为小型语言模型在商业用途上更有前景，也更具可持续性。大型产品具有出色的训练能力，但是通用的，而企业需要的是垂直应用。

Esposito说：“通过API使用大型生成式AI模型，用你自己的数据训练你自己的生成式AI产品，需要大量能源资源，这就像把一个数字同事带进你的家，但这个同事的成本很高。你必须用你公司的具体信息来训练他，并不断向他提供新的数据，让他了解最新的情况。你还必须为他提供大量的电力。这就是为什么我对大型语言模型不感兴趣，但对小型语言模型却非常感兴趣。企业需要更有针对性、偏见和隐私侵犯风险更低的东西。”

例如，Esposito说，IT可以隔离一个狭窄的语言任务，获取小型语言模型，将其放在云端，只允许它访问公司文档数据库，这样它就只向模型询问与这些文档相关的问题。

“从第一次实验来看，似乎不仅能耗降低了，而且出现幻觉的可能性也降低了。毕竟，企业的AI模型不必知道一切，而只需响应某些应用。小型语言模型仍然可以进行翻译、执行市场趋势分析、自动化客户服务、管理IT工单、创建业务虚拟助手等。在我看来，限制领域并使其专业化，使其处于IT的控制之下，这似乎更有效率。”

生成式AI业务和小型模型之间的权衡

控制是关键。布鲁诺·凯斯勒基金会（FBK）增强中心总监Alessandro Sperduti表示，在AI领域我们面临着私营公司主导的风险。他说：“过去，世界上最重要的AI系统都是在大学里开发的，但现在不是了，因为私营科技巨头已经崛起，其消费能力是公众无法与之竞争的。”

事实上在科学界，一些人更愿意通过政治干预将AI重新置于控制之下，就像高能物理学和CERN的建立一样——CERN是一个将多个国家聚集在一起合作进行粒子物理理论和实验的机构。但其他研究人员并不认为某些私人参与者的霸权会带来风险，只要政府规范AI工具的使用，就像欧盟通过《人工智能法案》所做的那样。

“与物理学领域发生的情况不同，那里没有大生意，而在AI领域，利润非常丰厚，这就是为什么微软和谷歌等厂商竞争如此激烈的原因。我们每天都会看到超越以往目标的新目标。这个领域的初创公司确实存在，但与其他行业相比，数量是很少的，因为这其中需要巨大的投资。因此我认为，它们是无法真正威胁到现有参与者的主导地位并创造强大竞争态势的。”

然而，在较小的模型方面，Sperduti强调了检索增强生成（RAG）系统，这种系统使用大型语言模型来回答有关本地数据库保存的文档的问题。这样，文档将保持私密，不会交给提供大型语言模型的组织。RAG让公司对数据拥有更多的控制权，成本也更低。

“但需要在本地管理大型语言模型，你也可以在本地使用开源语言模型，这些模型比大型语言模型更小，但性能较低，因此可以将其视为一种小型语言模型。”

关于成本可持续性，Sperduti表示，大型语言模型通常由大型科技企业作为一种公用事业服务进行管理，就像我们购买电力一样，而小型模型就像是把涡轮机留在家中进行发电。“因此，必须进行经济评估，如果模型的使用频率很高，这可能是有利的。但这是一个必须经过仔细分析后才能做出的选择，要考虑到模型的成本、更新、使用它的人员等等。”

CIO掌控一切：治理和专业知识

Carboni还警告说，如果你选择了小型语言模型，那么IT就要承担更大的任务，CIO的生活也不一定会得到简化。

“在大型语言模型中，大部分数据工作都是统计完成的，然后IT会针对特定主题训练模型以纠正错误，为其提供有针对性的高质量数据。而小型语言模型的成本低得多，需要的数据也少得多，但正是由于这个原因，统计计算效率较低，因此需要非常高质量的数据，数据科学家需要做大量的工作。否则，使用通用数据的话，模型可能会产生很多错误。”

此外，小型语言模型对于企业来说前景广阔，甚至大型科技企业也提供和宣传小型语言模型，例如谷歌的Gemma和微软的Phi-3。因此，根据Esposito的说法，在一个应该保持封闭系统的模型中，治理仍然是最根本的。

“小型语言模型更易于管理，并成为公司从AI中获取附加值的一项重要资产，否则，如果是大型模型和开放系统的话，你必须同意与谷歌、微软和OpenAI共享公司的战略信息。这就是为什么我更喜欢与可以开发定制并提供封闭系统的系统集成商展开合作，仅供内部使用。我认为，让员工使用通用产品并将公司数据放入其中是不明智的，因为这些数据可能是敏感数据。数据和AI治理对企业是至关重要的。”

CIO的能力也同样重要。

Carboni说：“在我的工作中，我不仅要评估访问服务的成本，还要评估我对服务的影响力。CIO必须建立自己的技术知识背景，配备一支能力强的团队，其中包括大量年轻人，能够在现代环境中使用云原生的技术。这样，CIO就不会局限于购买产品并期待其性能，而是采取行动并影响产品或者服务。”

因此，CIO仍是掌舵人。无论生成式AI的发展轨迹如何，IT领导者都希望能够决定方向、应用和目标。