生成式AI的云上引擎：揭秘Amazon EC2 P5实例 原创

从2006年南非开普敦一个10人团队开发了亚马逊云科技第一款EC2实例，到现在EC2已经有了600多种实例，几乎覆盖了所有的工作负载。

在这个历程中不得不提Amazon Nitro系统，其开启了软硬件一体化加速产品商业化之路。Amazon Nitro系统不是单一的专用硬件设备，而是一套完整的软硬件融合协同系统，由Nitro虚拟化、Nitro I/O加速卡、Nitro安全芯片三个主要部分组成。

从2013年Amazon Nitro系统问世，亚马逊云科技的自研芯片之路也就此打开，2017年亚马逊云科技发布第三代Amazon Nitro系统，在业界首次使用自研专用芯片。

亚马逊云科技过去10年在自研芯片领域持续创新，形成了三条自研芯片的产品线：第五代虚拟化芯片Amazon Nitro5、三代基于ARM架构的通用处理器芯片Amazon Graviton3及其优化型Amazon Graviton3E、两款用于机器学习的训练和推理的芯片Amazon Trainium和Amazon Inferentia2。

“自研芯片会将节省的成本传递给客户，这在生成式AI中的帮助是巨大的。”亚马逊云科技生成式AI全球副总裁Vasi Philomin说，模型训练的成本很大，如果不降低成本就不会有真正的应用。

为了进一步帮助逐渐增多的生成式AI需求，在纽约峰会上亚马逊云科技也宣布了Amazon EC2 P5实例正式可用，引入了当红炸子鸡H100。

亚马逊云科技和英伟达合作已有12年之久，推出了包括支持视觉计算、人工智能和高性能计算集群的各种GPU实例，如CG1实例（2010年）、G2（2013年）、P2（2016年）、P3（2017年）、G3（2017年）、P3dn（2018年）、G4（2019年）、P4（2020年）、G5（2021年）和P4de（2022年）实例。

去年发布的Amazon EC2 P4de实例采用8个NVIDIA A100 GPU，每个具有80GB高性能的HBM2e GPU 内存，P4de实例适合需要利用由高精度数据组成的大型数据集进行训练的工作负载。

Amazon EC2 P5实例则采用8个英伟达H100 Tensor Core GPU，具有640 GB高带宽GPU内存，同时提供第三代AMD EPYC处理器、2TB系统内存和30TB本地NVMe存储。Amazon EC2 P5实例还提供3200 Gbps的聚合网络带宽并支持GPUDirect RDMA，从而能够绕过CPU进行节点间通信，实现更低的延迟和高效的横向扩展性能。

与上一代基于GPU的实例相比，Amazon EC2 P5实例可以将训练时间缩减6倍（从几天缩短到几小时），从而帮助客户节省高达40%的训练成本。Amazon EC2 P5实例非常适合训练和运行越来越复杂的大语言模型和计算机视觉模型。Vasi谈到，包括像问答、代码生成、视频和图像生成、语音识别等需求。

而且Amazon EC2 P5实例可以部署在超大规模集群第二代Amazon EC2 UltraClusters中，其由高性能计算、网络和云存储组成，Amazon EC2 UltraClusters可以使用多达2万个H100 Tensor Core GPU。

“丰富的EC2实例，可以给客户提供更多性能和价格上的选择，帮助他们更好地进行构建。同时客户在构建一个应用程序的时候，可能并不关心底层架构，更多关心的如何定制属于自己的模型，关系成本效益。”Vasi说道。

随着各种大模型的涌现，企业的算力需求正在井喷式地增长，生成式AI也将成为云服务市场新的增长点，并将推动云服务市场的创新和差异化。