AWS 推出下一代 AWS 设计的芯片
AWS Trainium2 将为 AWS 上的最高性能计算提供支持，从而以更低的成本更快地训练基础模型，同时使用更少的能源
Anthropic、Databricks、Datadog、Epic、Honeycomb和SAP 等客户均使用 AWS 设计的新芯片
拉斯维加斯--(美国商业资讯)--在 AWS re:Invent 大会上，Amazon.com, Inc. 旗下公司 Amazon Web Services, Inc. (AWS)（纳斯达克股票代码：AMZN）今天宣布推出两款由 AWS 设计的下一代芯片系列 — AWS Graviton4 和 AWS Trainium2 — 提供为广泛的客户工作负载（包括机器学习（ML）培训和生成人工智能（AI）应用）提供性价比和能源效率方面的进步。Graviton4 和 Trainium2 标志着 AWS 芯片设计的最新创新。随着每一代芯片的推出，AWS 都提供了更好的性价比和能效，除了采用 AMD、Intel 和 NVIDIA 等第三方最新芯片的芯片/实例组合之外，还为客户提供了更多选择，以运行几乎任何应用程序或Amazon Elastic Compute Cloud (Amazon EC2) 上的工作负载。
AWS Graviton4 和 AWS Trainium2（原型）（照片：美国商业资讯）
AWS Graviton4 和 AWS Trainium2（原型）（照片：美国商业资讯）
与当前一代 Graviton3 处理器相比，Graviton4 的计算性能提高了 30%，内核增加了 50%，内存带宽增加了 75%，为 Amazon EC2 上运行的各种工作负载提供了最佳性价比和能效。
Trainium2 的设计速度比第一代 Trainium 芯片快 4 倍，并且能够部署在多达 100,000 个芯片的 EC2 UltraCluster 中，从而可以在一个简单的环境中训练基础模型 (FM) 和大型语言模型 (LLM)。时间的一小部分，同时将能源效率提高了 2 倍。
AWS 计算和网络副总裁 David Brown 表示：“硅支撑着每个客户工作负载，使其成为 AWS 创新的关键领域。”“通过将我们的芯片设计重点放在对客户重要的实际工作负载上，我们能够为他们提供最先进的云基础设施。Graviton4 标志着我们在短短五年内推出的第四代芯片，是我们为各种工作负载打造的最强大、最节能的芯片。随着人们对生成式 AI 兴趣的高涨，Trainium2 将帮助客户以更低的成本和更高的能源效率更快地训练他们的 ML 模型。”
Graviton4 提高了各种工作负载的性价比和能效标准
如今，AWS 在全球范围内大规模提供了 150 多种不同的 Graviton 支持的 Amazon EC2 实例类型，已构建了超过 200 万个 Graviton 处理器，并且拥有超过 50,000 个客户（包括排名前 100 的 EC2 客户）使用基于 Graviton 的实例来实现为其应用提供最佳性价比。Datadog、DirecTV、Discovery、Formula 1 (F1)、NextRoll、Nielsen、Pinterest、SAP、Snowflake、Sprinklr、Stripe 和 Zendesk 等客户使用基于 Graviton 的实例来运行各种工作负载，例如数据库、分析、Web服务器、批处理、广告服务、应用程序服务器和微服务。随着客户将更大的内存数据库和分析工作负载引入云中，他们的计算、内存、存储和网络需求也随之增加。因此，他们需要更高的性能和更大的实例大小来运行这些要求苛刻的工作负载，同时管理成本。此外，客户希望为其工作负载提供更节能的计算选项，以减少对环境的影响。Graviton 受到许多 AWS 托管服务的支持，包括 Amazon Aurora、Amazon ElastiCache、Amazon EMR、Amazon MemoryDB、Amazon OpenSearch、Amazon Relational Database Service (Amazon RDS)、AWS Fargate 和 AWS Lambda，为这些服务的用户带来 Graviton 的性价比优势服务。Amazon OpenSearch、Amazon Relational Database Service (Amazon RDS)、AWS Fargate 和 AWS Lambda，为这些服务的用户带来 Graviton 的性价比优势。Amazon OpenSearch、Amazon Relational Database Service (Amazon RDS)、AWS Fargate 和 AWS Lambda，为这些服务的用户带来 Graviton 的性价比优势。
与 Graviton3 相比，Graviton4 处理器的计算性能提高了 30%，内核数量增加了 50%，内存带宽增加了 75%。Graviton4 还通过对所有高速物理硬件接口进行完全加密来提高安全性。Graviton4 将在内存优化的 Amazon EC2 R8g 实例中提供，使客户能够改进高性能数据库、内存缓存和大数据分析工作负载的执行。R8g 实例提供更大的实例大小，比当前一代 R7g 实例多出多达 3 倍的 vCPU 和 3 倍的内存。这使得客户能够处理更大量的数据、扩展工作负载、缩短获得结果的时间并降低总体拥有成本。Graviton4 支持的 R8g 实例现已推出预览版，计划在未来几个月内全面上市。要了解有关基于 Graviton4 的 R8g 实例的更多信息，请访问 aws.amazon.com/ec2/instance-types/r8g。
Trainium2 的 EC2 UltraCluster 旨在在云中提供最高性能、最节能的 AI 模型训练基础设施
当今新兴的生成式人工智能应用背后的 FM 和 LLM 接受过海量数据集的培训。这些模型使客户能够通过创建各种新内容（包括文本、音频、图像、视频甚至软件代码）来完全重新想象用户体验。当今最先进的 FM 和 LLM 的参数范围从数千亿到数万亿不等，需要可靠的高性能计算能力，能够扩展到数万个机器学习芯片。AWS 已经提供了最广泛、最深入的采用 ML 芯片的 Amazon EC2 实例选择，包括最新的 NVIDIA GPU、Trainium 和 Inferentia2。如今，包括 Databricks、Helixon、Money Forward 和 Amazon Search 团队在内的客户使用 Trainium 来训练大规模深度学习模型，充分利用 Trainium 的高性能、规模、可靠性和低成本。但即使拥有当今最快的加速实例，客户也希望获得更高的性能和规模，以便以更低的成本更快地训练这些日益复杂的模型，同时减少他们使用的能源量。
Trainium2 芯片专为 FM 和 LLM 的高性能训练而设计，参数高达数万亿个。与第一代 Trainium 芯片相比，Trainium2 的训练性能提高了 4 倍，内存容量提高了 3 倍，同时能效（性能/瓦特）提高了 2 倍。Trainium2 将在 Amazon EC2 Trn2 实例中提供，单个实例中包含 16 个 Trainium 芯片。Trn2 实例旨在使客户能够在下一代 EC2 UltraCluster 中扩展多达 100,000 个 Trainium2 芯片，与 AWS Elastic Fabric Adapter (EFA) 拍级网络互连，提供高达 65 exaflops 的计算能力，并为客户提供对超级计算机的按需访问一流的性能。凭借这种规模，客户可以在数周而不是数月内培训 3000 亿个参数的 LLM。通过以显着降低的成本提供最高的横向扩展 ML 训练性能，Trn2 实例可以帮助客户解锁并加速生成 AI 的下一波进步。要了解有关培训的更多信息，请访问aws.amazon.com/machine-learning/trainium/。
Anthropic 是一家人工智能安全和研究公司，是负责任地部署生成式人工智能的主要倡导者，致力于创建可靠、可解释和可操纵的人工智能系统。Anthropic 自 2021 年以来一直是 AWS 客户，最近推出了 Claude——一款专注于提供帮助、无害且诚实的人工智能助手。“自从在 Amazon Bedrock 上推出以来，Claude 得到了 AWS 客户的迅速采用，”Anthropic 联合创始人 Tom Brown 说道。“我们正在与 AWS 密切合作，使用 Trainium 芯片开发未来的基础模型。Trainium2 将帮助我们大规模构建和训练模型，对于我们的一些关键工作负载，我们预计它的速度至少比第一代 Trainium 芯片快 4 倍。我们与 AWS 的合作将帮助各种规模的组织释放新的可能性，因为他们将 Anthropic 最先进的人工智能系统与 AWS 安全、可靠的云技术结合使用。”
全球超过 10,000 个组织（包括 Comcast、Condé Nast 以及超过 50% 的财富 500 强企业）依靠 Databricks 来统一其数据、分析和人工智能。Databricks 生成 AI 副总裁 Naveen Rao 表示：“成千上万的客户已经在 AWS 上实施了 Databricks，使他们能够使用 MosaicML 来针对各种用例进行预训练、微调和服务 FM。”“AWS Trainium 为我们提供了训练 Mosaic MPT 模型所需的规模和高性能，并且成本低廉。当我们训练下一代 Mosaic MPT 模型时，Trainium2 将能够更快地构建模型，使我们能够为客户提供前所未有的规模和性能，以便他们能够更快地将自己的生成式 AI 应用程序推向市场。”
Datadog 是一个可观察性和安全平台，可提供跨组织的全面可见性。“在 Datadog，我们运行数以万计的节点，因此平衡性能和成本效益极其重要。这就是为什么我们已经在 Graviton 上运行一半的 Amazon EC2 集群，”Datadog 首席工程师 Laurent Bernaille 说道。“将基于 Graviton4 的实例无缝集成到我们的环境中，并立即为我们带来开箱即用的性能提升，我们期待在 Graviton4 普遍可用时使用它。”
Epic是一家领先的互动娱乐公司和3D引擎技术提供商。Epic 运营的《堡垒之夜》是全球最大的游戏之一，拥有超过 3.5 亿账户和 25 亿好友关系。Epic 首席云工程师 Roman Visintine 表示：“AWS Graviton4 实例是我们测试过的最快的 EC2 实例，它们在我们最具竞争力和延迟敏感的工作负载中提供了出色的性能。”“我们期待使用 Graviton4 来改进玩家体验并扩展《堡垒之夜》的可能性。”
Honeycomb 是一个可观察性平台，使工程团队能够发现并解决以前无法解决的问题。Honeycomb 现场首席技术官 Liz Fong-Jones 表示：“我们很高兴能够评估基于 AWS Graviton4 的 R8g 实例。在最近的测试中，我们基于 Go 的 OpenTelemetry 数据摄取工作负载所需的副本比基于 Graviton4 的 R8g 减少了 25%与基于 Graviton3 的 C7g/M7g/R7g 实例相比，中值延迟提高了 20%，第 99 个百分点的延迟提高了 10%。我们期待在基于 Graviton4 的实例普遍可用后利用它们。”
SAP HANA Cloud 是 SAP 的云原生内存数据库，是 SAP 业务技术平台 (SAP BTP) 的数据管理基础。SAP SE 首席技术官兼执行委员会成员 Juergen Mueller 表示：“客户依靠 SAP HANA Cloud 在云中运行其任务关键型业务流程和下一代智能数据应用程序。”“作为 SAP HANA Cloud 迁移到基于 AWS Graviton 的 Amazon EC2 实例的过程的一部分，我们已经看到分析工作负载的性价比提高了 35%。在接下来的几个月里，我们期待验证 Graviton4 以及它能为我们的共同客户带来的好处。”
关于亚马逊网络服务
自 2006 年以来，Amazon Web Services 一直是世界上最全面、应用最广泛的云。AWS 一直在不断扩展其服务，以支持几乎任何工作负载，现在拥有 240 多种功能齐全的服务，涉及计算、存储、数据库、网络、分析、机器学习和人工智能 (AI)、物联网 (IoT)、通过 32 个地理区域内的 102 个可用区进行移动、安全、混合、虚拟和增强现实（VR 和 AR）、媒体和应用程序开发、部署和管理，并宣布计划在加拿大再增加 15 个可用区和另外 5 个 AWS 区域、德国、马来西亚、新西兰和泰国。数以百万计的客户（包括增长最快的初创公司、最大的企业和领先的政府机构）信任 AWS 为其基础设施提供支持，变得更加敏捷，成本更低。要了解有关 AWS 的更多信息，请访问aws.amazon.com。
关于亚马逊
亚马逊遵循四个原则：以客户为中心而不是以竞争对手为中心、对发明的热情、对卓越运营的承诺以及长期思考。亚马逊致力于成为地球上最以客户为中心的公司、地球上最好的雇主和地球上最安全的工作场所。客户评论、一键式购物、个性化推荐、Prime、亚马逊物流、AWS、Kindle Direct Publishing、Kindle、Career Choice、Fire 平板电脑、Fire TV、Amazon Echo、Alexa、Just Walk Out 技术、Amazon Studios 和 The Climate承诺是亚马逊首创的一些举措。欲了解更多信息，请访问amazon.com/about并关注@AmazonNews。
原文链接：https://press.aboutamazon.com/2023/11/aws-unveils-next-generation-aws-designed-chips
转载请注明： AWS 推出下一代 AWS 设计的芯片 | 跨境湾
