释放超越传统界限的创新，生成式AI需要全面和深入的基础设施保障 原创

亚马逊云科技中国峰会的第一天，亚马逊全球副总裁、亚马逊云科技大中华区执行董事张文翊就探讨了生成式AI创造全新客户体验、提高企业内部员工生产力、帮助企业提升业务运营效率、以及提升企业在内容创作效率四个方面为企业带来的价值。

并且亚马逊云科技宣布了联合28家投资、产业机构，共同推出“亚马逊云科技创业加速器”，助力初创企业加速成长。

第二天的峰会，AI依旧是主角。亚马逊深信不疑，生成式AI正在重塑各行各业，而且它可以突破之前无法突破的一些极限，成为像最早的互联网或者网络的浏览器同样的性质。

亚马逊云科技全球产品副总裁Matt Wood提到，我们现在处在变革的最早阶段，这样的一个突然变革的时机，能够释放超越传统界限的创新，把我们推向未知的领域，远远超出原来的边界。

同时Matt Wood还给出了使用数据开始生成式AI的五个建议，第一，基于自己现有的数据战略去做构建；第二，在组织内实现更广泛、更安全的生成式AI实验；第三，为需求场景定制化模型；第四，携手亚马逊云科技，探索无限可能；第五，选择场景，即刻启程，构建未来。

亚马逊云科技全球产品副总裁Matt Wood

解锁生成式AI的价值

过去6-8个月时间里我们已经深切感受到生成式AI的爆发，生成式AI的典型场景主要包括：创意输出，如写作、设计、编码、建模等；功能增强，如搜索、总结、排序等；全新的交互式体验，可产生新的知识和想法，以及通过聊天机器人提供开放的知识；决策支持，在人工监督下自动执行复杂任务。

Matt Wood认为解锁生成式AI，首先要提供对一流基础模型的访问，第二需要提供安全私密的环境去定制模型，第三需要通过定制芯片提供低成本和低延迟访问；第四需要搜寻机会提升使用体验。

Amazon Bedrock提供了对一流的基础模型的访问，这项新服务允许用户通过 API 访问来自 AI21 Labs、Anthropic、Stability AI 和亚马逊的基础模型。Amazon Bedrock 是客户使用基础模型构建和扩展生成式AI应用程序的最简单方法，为所有开发者降低使用门槛。在 Amazon Bedrock上，用户可以通过可扩展、可靠且安全的亚马逊云科技托管服务，访问从文本到图像的一系列强大的基础模型。

借助Amazon Titan模型库可以实现安全且私密的模型调优，Amazon Titan是一系列不同的模型的库，可实现文本归纳总结、搜索结果嵌入、有害内容删减等，用户可以非常安全、隐私地对这些模型做优化和微调。

自研定制推理芯片Inferentia和训练芯片Trainium则可以提供低成本、低延迟。Matt Wood说，如果把机器学习的创新、定制化的芯片，以及利用Amazon Bedrock使用模型放在一起，你会发现从未有过如此简单、低成本，借助机器学习进行代码构建的方式。

Amazon CodeWhisperer 是基于机器学习为开发人员提供的一个代码生成的服务，支持包括Java、JavaScript和Python等在内的15种不同的编程语言，个人用户可免费使用。在测试中，与未使用的参与者相比，使用CodeWhisperer的参与者完成任务的速度平均快57%，成功率高27%。

“数据对于生成式AI而言，更是所有一切的起点。”Matt Wood说道，亚马逊云科技的做法是云原生数据战略。

战略一：全面的工具集，满足现在和未来所需。亚马逊云科技推出15种专门构建的云上托管数据库服务，为各类用户的应用场景提供完美契合的数据服务；亚马逊云科技的分析服务已全面实现Serverless化；全类别的云数据库服务。

战略二：轻松集成，连接所有数据。亚马逊云科技提出了Zero-ETL的愿景，致力于实现无缝的数据转换和调用，而用户不用编写任何的代码。最近推出了Aurora新的服务——Amazon Aurora可以与Amazon Redshift进行Zero-ETL集成，允许使用 Amazon Redshift 对来自Aurora的PB级事务数据进行近实时分析和机器学习 (ML)。事务数据在被写入Aurora后的几秒钟内，即可用在Amazon Redshift中，因此您不必构建和维护复杂的数据管道来执行提取、转换和加载 (ETL) 操作。

战略三：构建端到端的数据治理。通过数据治理，加速并保障数据流通。亚马逊云科技去年推出的一项全新的数据管理服务Amazon DataZone，可以让客户更快、更轻松地对存储在亚马逊云科技、客户本地和第三方来源的数据进行编目、发现、共享和治理。借助Amazon DataZone，管理员和数据资产管理者可以使用精细的控制工具管理和治理数据访问权限，确保数据访问发生在正确的权限和正确的情境之下。

从容应对算力需求井喷

AI的火热带来的必然是算力资源需求的井喷。亚马逊云科技大中华区产品部总经理陈晓建说，由于生成式AI的风潮，AI和机器学习的技术已经深入到很多创新场景当中，亚马逊云科技看到越来越多新的机会，比如说像文本和图片的生成、推理、代码生成等，生成式AI的爆发也直接推动了对算力资源需求的增长。

亚马逊云科技大中华区产品部总经理陈晓建

最近我们常听到的一句话就是GPU不够用了，不仅是中国，全球也是如此。所以生成式AI需要更高性价比的硬件解决方案、高度弹性的资源、降低云服务使用门槛。

亚马逊云科技有着全面和深入的基础设施能力，为用户提包括Intel、AMD、英伟达，以及自研CPU及加速芯片产品。

Nitro是亚马逊云科技的第一款自研芯片产品，其是一个非常轻量级的Hypervisor，实现了不到1%的性能损耗。实现了网络和存储在硬件级别的隔离机制，不会造成互相的干扰。在硬件层面实现了硬件加密，最大限度保证用户数据通信的安全。

Nitro的进化速度非常之快，已经进入第五代。有了Nitro之后亚马逊云科技能够大大增强EC2实例应用的安全性，每个单元可以独立发展，也确保EC2所有实例运行的稳定。陈晓建强调，2017年以来，随着整个EC2实例功能越来越强大，推出的实例反而变快了，Nitro的出现让我们大大降低了推出一个新EC2实例工作的复杂性，才能使得我们保持一个非常快速的增长。

除了Nitro之外亚马逊云科技还有基于ARM 架构的通用处理器芯片 Graviton，用于机器学习的训练和推理芯片Trainium和Inferentia。

Graviton3相比Graviton2，计算性能提高多达25%，浮点性能提高多达2倍，加密工作负载性能最多加快2倍。去年新推出的Graviton 3E特别关注向量计算的性能，这项性能指标对于高性能计算HPC是非常重要的。

训练方面亚马逊云科技也推出了加速芯片Trainium。基于Trainium的Trn1实例和通用的GPU实例对比，在训练的吞吐率上，单节点吞吐率可以提升1.2倍，多节点集群吞吐率可以提升1.5倍，从成本上单节点成本可以降低1.8倍，集群的成本更是降低了2.3倍。

2019年推出了第一代用于机器学习的推理芯片Inferentia，对应实例Inf1和同样基于通用GPU的EC2实例相比，带来了70%成本的降低，包括客户像Airbnb，Snap，OPPO小布语音助手都在使用。

2022年推出了第二代推理芯片Inferentia2，进一步提升了4倍吞吐量，延迟只是之前的1/10，第二代Inferentia可以大规模部署复杂的模型，例如大型语言模型(LLM)和Diffusion类模型。

使用业界通用的开源模型OPT测试，中等规模OPT模型OPT-30B进行训练，相比于通用GPU EC2的实例，Inferentia2吞吐率增加了65%，推理成本降低了52%。更大的OPT模型，例如66B模型，通用GPU的EC2实例已经力不从心了，但基于Inferentia2实例依然可以保持每秒351个token数的吞吐量。

生成式AI需求非常多样化，除了需要更高性价比硬件解决方案，同样需要有高度弹性化的伸缩。亚马逊云科技提供600多种不同的计算实例，从处理器、网络、存储、各种周边服务，以积木的方式搭建出一个丰富灵活的计算实例的资源，满足多种不同算力的要求。

同时在降低运维复杂性上，自从2014年发布Amazon Lambda以来，亚马逊云科技已经相继发布了众多Serverless新技术，实现了全栈数据服务的Serverless化，开启了Serverless 的新时代，让客户无需预置或管理基础设施，就可以运行几乎任何类型的应用程序，帮助客户最大限度减轻运维工作，并增加业务敏捷性。