亚马逊云科技宣布推出生成式AI新工具

采用机器学习的新范式赋能业务不断探索已经播种了几十年。但随着足够的可伸缩算力的就位、海量数据的爆炸，以及机器学习技术的快速进步，各行各业的客户开始对业务进行重塑。最近，像ChatGPT这样的生成式AI应用引起了广泛的关注，引发了诸多想象。我们正处在一个令人激动的机器学习被大规模采用的转折点上，我们也相信生成式AI将会重塑大量客户体验和应用程序。

20多年来，人工智能和机器学习一直是亚马逊关注的焦点。亚马逊提供给客户的很多功能都是由机器学习驱动的，例如我们的电商推荐引擎、运营中心捡货机器人的路径选择，以及我们的供应链、预测和产能规划。Prime Air（亚马逊无人机）和Amazon Go（亚马逊线下无人零售实体店，消费者可以自选商品后直接离开，无需现场排队付款结算）中的计算机视觉技术都使用了深度学习。Alexa每周回应客户数十亿次关于管理智能家居、购物、获取信息和娱乐的请求，这也得益于来自 30 多种不同的机器学习系统的支持。亚马逊有数千名工程师专注于机器学习研究，这既是我们的宝贵资产，也是我们现在最关注的理念，和面向未来的实力之所在。

在亚马逊云科技，我们致力于不断降低机器学习的使用门槛。我们已经帮助超过10万家来自各行各业的不同规模的客户使用机器学习进行创新。我们在人工智能和机器学习堆栈的三个层级都拥有至深至广的产品组合。长期以来，我们不断投入、持续创新，为机器学习提供高性能、可伸缩的基础设施，和极具性价比的机器学习训练和推理；我们研发了Amazon SageMaker，为所有开发人员构建、训练和部署模型提供最大的便利；我们还推出了大量服务，使客户通过简单的API调用就可添加AI功能到应用程序中，如图像识别、预测和智能搜索。得益于此，Intuit、汤森路透、阿斯利康、法拉利、德甲联赛、3M和宝马等客户，以及全球数千家初创企业和政府机构正在通过机器学习进行数字化转型，带动产业升级，重新定义机器学习的使命。我们同样致力于推动生成式AI技术的普惠化：我们将这些技术从研究和实验领域释放出来，不只是少数初创公司和资金雄厚的大型科技公司，而是让更多公司都能从中受益。因此，我今天非常兴奋宣布数项创新，帮助我们的客户更简单、更容易地在业务中使用生成式AI。

生成式AI和基础模型

生成式AI是人工智能的一种，能够创造新内容和想法，包括对话、故事、图像、视频和音乐。与所有人工智能技术一样，生成式AI的能力由机器学习模型提供。这些模型是基于大量数据进行预先训练的大模型，通常被称为基础模型（Foundation Models）。机器学习的最新进展（特别是基于transformer的神经网络架构的发明）直接带来这一类模型的爆发式增长，这类模型通常包含数十亿个参数或变量。2019年最大的预训练模型是3.3亿个参数。现在，最大的模型包含的参数超过5千亿个，相当于几年间增加了1600倍。如今的基础模型，例如大型语言模型GPT3.5或BLOOM，以及由Stability AI开发的文生图模型Stable Diffusion，可以执行跨多个领域的多种任务，例如撰写博客文章、生成图像、解决算术问题、对话聊天，基于文档回答问题等。基础模型的规模和面向通用场景的性质使其不同于传统的机器学习模型，后者通常仅执行特定的任务，例如分析文本观点、分类图像和预测趋势等。

基础模型包含大量参数，能够学习复杂的概念，因此可以执行更多任务。通过基于互联网规模的、各种形式和模态的海量数据进行预先训练，基础模型学会在各种语境中应用所习得的知识。尽管预训练基础模型所带来的功能和可能性已足够令人惊叹，而真正让客户为此兴奋不已的是，这些通用模型也可以被定制化加工，执行专属于其业务领域的特定功能，帮助业务建立差异化竞争优势，与从零开始训练模型相比，仅需使用一小部分数据和计算资源。定制化的基础模型可以带来独有的顾客体验，体现公司的观点、风格和服务，适用于众多消费者行业，如金融银行、旅行和医疗等。例如，一家金融公司如果需要使用所有相关交易自动生成活动日报以供内部流通，它可以使用包括既往报告在内的专有数据来定制模型，以便基础模型了解如何阅读报告和使用哪些数据来生成日报。

基础模型拥有巨大的潜力，但我们仍处在初级阶段。ChatGPT率先吸引了客户对生成式AI的关注。对生成式AI展开研究的人很快意识到，多家公司已经在基础模型上耕耘多年，可用的基础模型也有很多，且各有各的优势和特点。在过去的数年间，我们都亲历了技术的快速发展，机器学习的演进也是日新月异。我们期待未来会涌现全新的体系和架构，而基础模型的多样化会推动新一波的创新浪潮。此前闻所未闻的新应用体验在今天已经成为现实。很多客户都在询问我们，如何快速利用当今以及未来可能出现的技术，如何快速使用基础模型和生成式AI立刻为公司业务大幅提升生产效率和变革产品与服务。

推出Amazon Bedrock和Amazon Titan模型：借助基础模型构建和扩展生成式AI应用程序的最简单途径

客户向我们讲述了他们现在的主要需求。首先，他们需要能直接找到并访问高性能基础模型，这些模型需要能够给出最匹配业务场景的优秀反馈结果。其次，客户希望无缝与应用程序集成，且无需管理大量基础设施集群，也不会增加过高的成本。最后，客户希望能够轻松上手，基于基础模型，利用自己的数据（可多可少）构建差异化的应用程序。由于客户进行定制化的数据是非常有价值的 IP，因此需要在处理过程中确保数据安全和隐私保护。同时，客户还希望能控制数据共享和使用。

听取了客户的所有反馈，今天我们很高兴宣布推出Amazon Bedrock。这项新服务允许用户通过API访问来自AI21 Labs、Anthropic、Stability AI和亚马逊的基础模型。Bedrock是客户使用基础模型构建和扩展生成式AI应用程序的最简单方法，为所有开发者降低使用门槛。在Bedrock上，用户可以通过可扩展、可靠且安全的亚马逊云科技托管服务，访问从文本到图像的一系列强大的基础模型，以及我们今天发布的Amazon Titan基础模型。Amazon Titan基础模型目前包括了两个全新的大语言模型。凭借Bedrock所带来的无服务器体验，客户可以轻松找到适合自身业务的模型，快速上手，在确保数据安全和隐私保护的前提下，使用自有数据基于基础模型进行定制，并使用他们已经熟悉的亚马逊云科技工具和能力，将定制化模型集成并部署到他们的应用程序中，同时无需管理任何基础设施。比如，客户可以将基础模型与Amazon SageMaker机器学习功能集成，使用Experiments测试不同模型和使用Pipelines大规模管理基础模型等。

客户也可使用Bedrock访问一些当前最领先的可用基础模型。这将包括AI21 Labs开发的Jurassic-2多语种大语言模型系列，能够根据自然语言指令生成文本内容，目前支持西班牙语、法语、德语、葡萄牙语、意大利语和荷兰语。还有Anthropic开发的大语言模型Claude，它是基于Anthropic对于训练诚实和负责任的AI（responsible AI）系统的大量研究，能够执行多种对话和文本处理任务。客户还可以通过Bedrock轻松访问Stability AI开发的文生图基础模型Stable Diffusion，这是文生图领域目前最流行的模型，能够生成独特、写实、高清的图像、艺术作品、商标和其它设计图。

Bedrock最重要的能力之一是极其容易定制模型。客户只需向Bedrock展示Amazon S3中的几个标注好的数据示例，Bedrock就可以针对特定任务微调模型，最少仅需20个示例即可，而无需标注大量数据。假设一位时装零售行业的内容营销经理，想为即将推出的手提包新品系列开发新的、针对目标用户的广告创意。他向Bedrock提供了一些标注过的表现最佳的既往营销广告示例，以及新品的相关描述，Bedrock将能自动为这些新品生成有效的社交媒体推文内容、展示广告和产品网页。没有任何客户数据被用于训练底层模型。所有数据都进行了加密，且不会离开客户的虚拟私有网络（VPC），因此客户完全可以确信获得数据安全和隐私保护。

Bedrock目前提供有限预览，Coda等客户的开发团队对使用Bedrock充满期待。Coda的联合创始人兼CEO Shishir Mehrotra表示：“作为亚马逊云科技的长期客户，我们对Amazon Bedrock带来的高品质、可扩展性和性能充满期待。我们所有的据已经存储在亚马逊云科技上，我们能够利用Bedrock快速采用生成式AI，并能充分保证我们数据的安全和隐私。目前，包括Uber、纽约时报、Square在内的成千上万个团队都在采用Coda，因此，可靠性与可扩展性十分重要。”

一些客户已经预览了亚马逊全新的Titan基础模型，在未来几个月内，我们会进一步扩展其可用范围。我们将首先发布两个Titan模型。第一个是针对总结、文本生成（如原创博客）、分类、开放式问答和信息提取等任务的生成式大语言模型。第二个是文本嵌入（embeddings）大语言模型，能够将文本输入（字词、短语甚至是大篇幅文章）翻译成包含语义的数字表达（即embeddings 嵌入编码）。虽然这种大语言模型不生成文本，但对个性化推荐和搜索等应用程序却大有裨益，因为相对于匹配文字，对比编码可以帮助模型反馈更相关、更符合情境的结果。实际上，Amazon.com的产品搜索能力就是采用了类似的文本嵌入模型，能够帮助客户更好地查找所需的商品。为了持续推动使用负责任AI的最佳实践，Titan基础模型可以识别和删除客户提交给定制模型的数据中的有害内容，拒绝用户输入不当内容，过滤模型中包含不当内容的输出结果，如仇恨言论、脏话和语言暴力。

任何规模的企业都可以通过Bedrock访问基础模型，加速机器学习在组织内部的应用，并凭借其轻松上手的特性，构建自己的生成式AI应用程序。我们相信，Bedrock将是基础模型普惠化进程中的一大步。埃森哲、德勤、Infosys和Slalom等合作伙伴都在构建最佳实践，帮助企业借助生成式AI实现快速发展。C3AI和Pega等独立软件开发商（ISV）对于利用Bedrock轻松访问大量基础模型，兼具安全性、隐私性和可靠性充满期待。

宣布Amazon EC2 Trn1n和Amazon EC2 Inf2实例正式可用：最具成本效益的生成式AI云基础设施

无论运行、构建还是定制基础模型，客户都需要高性能、低成本且为机器学习专门构建的基础设施。过去五年，亚马逊云科技持续加大在自研芯片方面的投入，不断突破性能和价格的极限，以支持对此有极高要求的机器学习训练与推理等工作负载。亚马逊云科技Trainium和Inferentia芯片可以提供在云上训练模型和运行推理的最低成本。正是因为我们在成本和性能方面的优势，像 AI21 Labs、Anthropic、Cohere、Grammarly、Hugging Face、Runway、Stability AI 等领先的AI初创公司都选择运行在亚马逊云科技上。

由Trainium支持的Trn1计算实例与其他任何EC2实例相比，都可以节省高达50%的训练成本，并经过优化，可以在与高达800Gbps的第二代EFA（弹性结构适配器）网络相连的多个服务器上分发训练任务。客户可以在超大规模集群（UltraClusters）中部署Trn1实例，数量可以扩展到在同一可用区中3万个Trainium芯片，相当于超过6 exaflops的计算能力，并具有PB级网络。许多亚马逊云科技客户，包括Helixon、Money Forward和亚马逊的搜索团队，都使用Trn1实例将训练最大规模的深度学习模型所需的时间从几个月缩短到几周甚至几天，并且降低了成本。800 Gbps的带宽已经很大，但我们仍不断创新、拓展带宽。今天我们宣布全新的、网络优化型Trn1n实例正式可用，它可以提供1600 Gbps的网络带宽，专为大型网络密集型模型设计，其性能比Trn1高出20%。

今天，基础模型花费的时间和金钱主要用于训练，这是因为许多客户才刚刚开始将基础模型部署到生产中。但是，未来，当基础模型进入大规模部署时，大部分成本将用于运行模型和进行推理。客户通常会定期训练模型，于是生产应用程序会不断生成预测（称为推理）——每小时可能生成数百万预测。而且这些预测需要实时发生，这就需要极低延迟和高吞吐量的网络。Alexa就是一个典型的例子，它每分钟都会接受数百万次请求，处理这些请求占所有计算成本的40%。

我们相信，未来大部分机器学习成本将来自运行推理。因而，几年之前，当我们开始研发新型芯片时，就已经将推理优化型芯片置于首位。2018年，我们发布了首款推理专用芯片Inferentia。每年，亚马逊都运用Inferentia运行数万亿次推理，并节省数亿美元成本。这是十分显著的成果，继续创新的空间依然巨大，因为随着越来越多的客户将生成式AI集成到他们的应用程序中，工作负载的规模和复杂性只会越来越大。

因此，我们今天宣布由Amazon Inferentia2提供支持的Inf2实例正式可用，这些实例专门针对运行数千亿个参数模型的大规模生成式AI应用程序进行了优化。与上一代相比，Inf2实例不仅吞吐量提高了4倍，延迟降低了10倍，还可实现加速器之间的超高速连接以支持大规模分布式推理。与同类Amazon EC2实例相比，这些能力将推理性价比提高了40%，并把云中的推理成本降到最低。与同类Amazon EC2实例相比，Runway等客户有望利用Inf2将部分模型的吞吐量提升至原来的两倍。受益于高性能和低成本的推理，Runway能够引入更多功能，部署更复杂的模型，并最终为自己的数百万用户交付更优质的体验。

宣布Amazon CodeWhisperer正式可用，并面向个人开发者免费开放

我们深知，对客户而言，利用正确的基础模型进行构建，并在最优性能的云基础设施上大规模运行生成式AI应用程序将带来颠覆性变革。同时，这也将带来革命性的全新用户体验。当应用程序或系统具备内置的生成式AI能力时，用户可以获得更自然、更流畅的交互体验。这就如同今天手机的人脸识别解锁功能，我们无需了解这一功能背后强大的机器学习模型，却可以做到看一眼手机就解锁了。

我们预见到，编程将是生成式AI技术得到快速应用的领域之一。今天，软件开发者需要花费大量时间编写相当浅显和无差别的代码。他们还需要花费不少时间学习复杂的新工具和技术，而这些工具和技术总在不断演进。因此，开发者真正用于开发创新的功能与服务的时间少之又少。为应对这一难题，开发者会尝试从网上复制代码片段再进行修改，但可能无意中就复制了无效代码，有安全隐患的代码，或对开源代码的使用没有进行有效的追溯。而且这种搜索和复制的方式也浪费了开发者用于业务构建的时间。

生成式 AI 可以通过“编写”大部分无差别的代码来大大减少这种繁重的工作，让开发人员能够更快地编写代码，同时让他们有时间专注在更具创造性的编程工作上。 因此，我们去年宣布推出了 Amazon CodeWhisperer 预览版，这是一款 AI 编程助手，通过内嵌的基础模型，可以根据开发者用自然语言描述的注释和集成开发环境（IDE）中的既有代码实时生成代码建议，从而提升开发者的生产效率。开发人员只需要向 CodeWhisperer 提出任务命令，例如“解析一个含有歌曲信息的 CSV 字符串”，并要求它返回一个基于艺术家、标题和排行榜最高排名等数据的结构化列表，CodeWhisperer 就可以解析字符串并返回指定的列表，从而极大提升工作效率。CodeWhisperer 预览版发布后得到了开发者们的热烈响应。我们始终相信，帮助开发人员编写代码可能成为未来几年生成式 AI 可以发挥巨大效力的应用场景之一。 在预览期间，我们还进行了一项生产力测试，与未使用 CodeWhisperer 的参与者相比，使用 CodeWhisperer 的参与者完成任务的速度平均快57%，成功率高 27%。这是开发人员生产力的巨大飞跃，而我们相信这才仅仅是个开始。

今天，我们很高兴宣布 Amazon CodeWhisperer正式可用，在适用 Python、Java、JavaScript、TypeScript 和 C#之外，新增支持Go、Kotlin、Rust、PHP 和 SQL等10 种开发语言。开发者可以通过在VS Code、IntelliJ IDEA、Amazon Cloud9等集成开发环境中的Amazon Toolkit 插件访问 CodeWhisperer。CodeWhisperer 也可在Amazon Lambda控制台中使用。除了从数十亿行公开代码中学习之外，CodeWhisperer 也基于亚马逊的代码进行了训练。 我们相信 CodeWhisperer 是目前为亚马逊云服务（包括 Amazon EC2、Amazon Lambda和Amazon S3）生成代码的最准确、最快和最安全的方式。

如果生成式 AI 工具建议的代码包含隐藏的安全漏洞或未能负责任地处理开源代码，开发人员则无法真正提高工作效率。CodeWhisperer是唯一具有内置安全扫描功能（通过自动推理实现）的 AI 编程助手，用于查找难以检测的漏洞并提出补救建议，例如十大开放式Web应用程序安全项目(OWASP)中的漏洞以及不符合加密库最佳实践的漏洞等。为了帮助开发人员以负责任的方式开发代码，CodeWhisperer会过滤掉可能被认为有偏见或不公平的代码建议，同时，由于客户可能需要对开源代码源进行参考或获得其使用许可，CodeWhisperer 还是唯一可以对疑似开源代码建议进行过滤和标记的编程助手。

我们相信生成式AI将改变开发者的游戏规则，因此希望它能为尽可能多的人所用。 所以，CodeWhisperer对所有个人用户免费，并不设任何资质或使用时长的限制！任何人都可以通过邮箱账户在几分钟内注册 CodeWhisperer进行使用，而无需亚马逊云服务账号。对于企业客户，我们则提供了CodeWhisperer 专业版，其中包括更多高级管理功能，如集成了身份与访问管理服务(IAM)的单点登录 (SSO)，以及使用更高限额的安全扫描。

构建像 CodeWhisperer 这样强大的应用程序对开发人员和我们所有的客户来说都是变革性的。我们还有更多创新性的产品在规划中，也期待更多的客户和开发者在亚马逊云服务上构建更加创新和颠覆性的生成式AI应用。我们的使命是，让各种技能水平的开发人员和各种规模的组织都有机会使用生成式AI进行创新。我们相信，新一波机器学习技术创新才刚刚开始、方兴未艾，未来还有无限可能。