今天我们要考虑的更多是如何能够更好的使用和支持生成式AI应用的能力。
“任何非常先进的技术,初看都与魔法无异。”是英国著名科幻作家亚瑟·克拉克的第三定律。
亚马逊云科技大中华区产品总经理陈晓建表示,生成式AI正是这种“魔法”的最佳体现。亚马逊云科技通过推出生成式AI三层技术栈,助力企业加速创新和数字化转型。
并且在生成式AI时代,技术架构也需要不断演进。过去十年,云计算为创新和创业提供了前所未有的便利,未来十年,生成式AI让我们有机会一起重塑各行各业,在这个特殊的时间点,What Will You Build?
亚马逊云科技大中华区产品总经理陈晓建
生成式AI重塑时代
亚马逊云科技生成式AI三层技术栈正从基层基础设施、中间模型、上层应用进行赋能,并且三层技术栈还在不断扩展。
底层:用于基础模型训练和推理的基础设施
生成式AI的底层包括GPU和亚马逊云科技自研芯片,这些是运行基础模型训练和推理工作的核心。亚马逊云科技提供了英伟达NVIDIA GPU,StabilityAI使用4000张A100 GPU训练Stable Diffusion,而Meta使用超过16000张A100 GPU训练Llama3。通过分布式训练技术,这些大规模模型的训练时间得以大幅缩短。
亚马逊云科技的自研芯片,如Amazon Trainium和Inferentia,进一步降低了生成式AI的训练和推理成本。陈晓建介绍道,基于Amazon Trainium的Trn1 EC2实例和基于Amazon Inferentia芯片的Inf2 EC2实例,与类似的基于英伟达GPU的Amazon EC2实例相比,训练成本降低高达50%(Trn1),推理成本降低高达40%(Inf2)。
此外,Amazon SageMaker作为托管机器学习服务,提供了丰富的工具和功能,帮助开发人员构建、训练和部署基础模型。SageMaker HyperPod可以将训练模型的时间减少多达40%,极大地提升了训练效率。
Amazon SageMaker Jumpstart提供模型选择、深度模型定制和评估等功能,亚马逊云科技不断拓展其中基础模型种类,零一万物的Yi-1.5 6B/9B/34B基础模型和百川智能的Baichuan-2 7B基础模型将在中国区域的SageMaker Jumpstart上线,为国内客户和全球开发者提供更多选择。
中间层:使用基础模型加速生成式AI应用构建
中间层主要由Amazon Bedrock构成,这是构建和扩展生成式AI应用程序的最简单方式。Amazon Bedrock通过单一API访问多种高性能基础模型,并提供模型评估、模型定制和知识库功能。
陈晓建指出,生成式AI的真正价值在于其多样性和灵活性,客户可以根据不同的业务需求选择合适的模型。
Amazon Bedrock支持模型选择、模型定制、应用集成和负责任AI四大差异化价值。通过Bedrock,客户可以轻松访问和评估最新的基础模型,快速构建和部署生成式AI应用。例如,Claude 3模型、Llama 3模型和Cohere的Command R模型都可以在Bedrock上使用,满足不同应用场景的需求。
Amazon Bedrock还提供了自定义模型导入功能Custom Model Import for Amazon Bedrock,企业可以将基于Llama, Mistral和Flan-T5开发的定制模型导入到 Bedrock之中,以完全托管的API方式进行访问。
顶层:开箱即用的生成式AI应用
在顶层,亚马逊云科技提供了开箱即用的生成式AI应用,如Amazon Q Developer和Amazon Q Business,目前均已正式可用。这些应用无需专业知识即可快速上手,帮助企业加速软件开发、改进业务流程。陈晓建强调,这些工具和解决方案旨在让每一个现代化企业都能够利用生成式AI的力量,推动业务创新和转型。
Amazon Q Developer能够协助开发人员完成从编码、测试到优化云资源等工作,提升开发效率。Amazon Q Business则通过统一的对话检索、生成总结和简化任务流程等功能,帮助企业从数据中获得洞见并采取行动。两款产品均已在中国区域正式上线,提供免费试用,吸引了众多开发者的关注。
架构演进连接未来
技术架构演进过程中不变的三大原则是:基础组件能力决定了架构设计,架构体系创新拓展核心能力,多元技术融合驱动架构创新。亚马逊云科技大中华区解决方案架构总经理代闻指出,生成式AI时代,技术架构的核心在于灵活应对变革,同时保持技术原则的稳定性。
亚马逊云科技大中华区解决方案架构总经理代闻
基础组件能力决定了架构设计
亚马逊云科技一直在计算、网络、存储和安全方面的创新。Nitro虚拟化平台的推出,使亚马逊云科技能够将计算资源几乎100%地提供给客户,同时增强了虚拟化的安全性。Nitro Enclaves提供了一个隔离的敏感数据处理环境,确保客户数据的安全和隐私。
在网络方面,亚马逊云科技开发了新的网络传输协议SRD和数据中心路由协议SIDR,大幅提升了网络性能和数据传输效率。UltraCluster支持的GPU实例数量可达两万台,为大模型训练提供了强大的支持。
在存储方面,Nitro平台支持单个虚拟机的最大IOPS可达400K,存储带宽可达100Gbps,显著提升了存储性能。亚马逊云科技还通过自研芯片Graviton,不断提升计算性能和能效,为客户提供最佳性价比的计算实例。
架构体系创新拓展核心能力
亚马逊云科技通过不断增强基础设施的韧性和弹性,确保系统的高可用性和可靠性。桥梁韧性不仅需要应对天灾和人祸,在技术架构中也需要处理不可控制的外部风险和管理不善造成的内部风险。
亚马逊云科技的Amazon IAM是高可靠访问控制服务的典范。Amazon IAM将控制平面和数据平面分离,使得每个区域的身份验证和授权可以独立运行,即使控制平面失效,区域内的服务依然可以正常运作。通过单元架构(Cell-based Architecture),Amazon IAM实现了全球高可靠架构,每秒处理超过十亿次调用,成为高韧性安全的基石。
单元架构现已应用于亚马逊云科技的所有云服务,如Amazon IAM、Amazon EC2、Amazon EBS和Amazon Aurora,确保这些服务具备高可靠性和高可用性。Aurora的共享存储卷基于单元架构,提供了稳定的存算分离架构,实现了Region级别的高可用数据库服务。
多元技术融合驱动架构创新
现代应用的多元化需求需要通过多元技术的融合来实现,亚马逊云科技通过拆解需求,专门构建各种数据服务,满足生成式AI应用的特殊需求。Zero-ETL技术的引入,实现了数据流动的自动化,大幅降低了数据同步的复杂性。
亚马逊云科技还有着优良架构体系(Well-Architected Framework),框架从卓越运营、安全、可靠、性能效率、可持续发展和成本优化六个维度,帮助企业构建高效、稳定的技术架构。
通过这些技术创新和架构优化,亚马逊云科技为企业提供了全面的支持,帮助他们在生成式AI时代实现数字化转型和业务创新。
通过强大的算力支持、丰富的模型资源和先进的架构设计,亚马逊云科技正在引领企业迈向生成式AI时代的未来。无论是在底层基础设施、中间层应用构建,还是顶层开箱即用的解决方案,亚马逊云科技都为企业提供了全方位的支持,在新时代中脱颖而出,实现更大的商业价值。
好文章,需要你的鼓励
Roig Arena 将于 2025 年 9 月在瓦伦西亚开业,借助 Extreme Networks 的 6GHz Wi-Fi 与数据分析技术,实现无缝运营与个性化观众体验,打造全天候活动中心。
EasyText是一项由新加坡国立大学、香港中文大学与Tiamat AI、Liblib AI合作开发的多语言文本渲染框架。基于扩散变换器(DiT)技术,它能将多语言字符编码为字符标记,并通过创新的字符位置编码技术实现精确文本布局控制。研究团队构建了包含100万多语言图像-文本对的大型合成数据集和2万高质量标注图像的精选数据集,用于预训练和微调。实验证明,EasyText在多语言文本渲染、视觉质量和布局感知文本集成方面表现卓越,支持超过十种语言,能处理弯曲和倾斜区域,实现前所未有的文本渲染精度和自然度。
OpenMamba 是一款意大利独立滚动更新的 Linux 发行版,基于 Fedora 工具构建,提供 KDE Plasma 与 LXQt 桌面。它采用最新组件和标准打包工具,运行稳定且易用,适合规避主流系统限制的用户。
波森AI研究团队开发的EmergentTTS-Eval是一个针对文本转语音(TTS)系统的全面评估框架,专注于测试六大挑战场景:情感表达、非语言线索、外语词汇、语法复杂性、复杂发音和问题表达。研究创新地采用大型音频语言模型作为评判者,从一小组种子提示迭代生成了1,645个测试用例。评估结果显示OpenAI的GPT-4o-Audio表现最佳,同时研究证实了模型评判结果与人类偏好高度一致。该工作已开源,为TTS技术评估提供了可扩展、客观且全面的新标准。