亚马逊云科技发布新一代AI训练芯片Amazon Trainium3

12月5日消息,亚马逊云科技在2024 re:Invent全球大会上,发布了新一代AI训练芯片Amazon Trainium3。

据介绍,Trainium3是亚马逊云科技首款采用3纳米工艺制造的芯片,专为新一代前沿生成式AI工作负载的高性能需求而设计,在性能、能效和密度上树立了新标杆。搭载Trainium3的UltraServers性能预计将是Trn2 UltraServers的4倍,使客户在构建模型时能够更快迭代,并在部署时提供卓越的实时性能。首批基于Trainium3的实例预计将在2025年末上线。

另外,会上还宣布基于Amazon Trainium2的Amazon Elastic Compute Cloud(Amazon EC2)Trn2实例正式可用,并推出全新的Amazon EC2 Trn2 UltraServers,让用户以优越的性价比训练和部署最新的人工智能模型,以及未来的大语言模型(LLM)和基础模型(FM)。

与当前基于GPU的EC2 P5e和P5en实例相比,Amazon EC2 Trn2实例的性价比提升30-40%。它配备16个Trainium2芯片,可提供高达20.8 Petaflops浮点算力的性能。

Amazon EC2 Trn2 UltraServers服务器机型配备64个相互连接的Trainium2芯片,采用NeuronLink超速互连技术,可提供高达83.2 Petaflops浮点算力,其计算、内存和网络能力是单一实例的四倍,能够支持训练和部署超大规模的模型。

上周,亚马逊宣布向Anthropic追加第二笔40亿美元投资,并加深在业务上的合作。

2024 re:Invent全球大会上透露,作为Anthropic与亚马逊云科技深化合作的一部分,Anthropic已开始优化Claude模型,以便在亚马逊Trainium2上运行。

同时,亚马逊云科技正在与Anthropic共同构建一个名为Project Rainier的 EC2 UltraCluster计算集群,该集群由Trn2 UltraServers组成,能够在数十万个Trainium2芯片之间通过第三代低延迟的PB级EFA网络进行分布式模型训练——其运算能力比Anthropic当前一代领先AI模型训练所需算力高出5倍以上。该项目完成后,预计将成为全球最大可用的AI计算集群,供Anthropic构建和部署未来模型使用。(果青)

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2024-12-05
亚马逊云科技发布新一代AI训练芯片Amazon Trainium3
12月5日消息,亚马逊云科技在2024 re:Invent全球大会上,发布了新一代AI训练芯片Amazon Trainium3。

长按扫码 阅读全文