随着人工智能(AI)技术的迅猛发展,云计算领域正在经历显著变革。愈发复杂的AI应用对计算解决方案的性能、效率和成本效益提出了更高要求。在云端部署工作负载的客户正在重新评估其所需的基础设施,以满足现代工作负载需求,其中不仅包括提高性能和降低成本,还涵盖了需符合监管要求或可持续发展目标的新能效基准。
Arm与亚马逊云科技(AWS)长期合作,为实现性能更强劲、更高效和可持续的云计算提供专用芯片和计算技术。在近期举行的AWS re:Invent 2024大会上,AWS进一步展示了AWS Graviton4所取得的显著进展,使开发者和企业能够充分发挥其云工作负载的性能潜力。
卓越的性能表现
相较于上一代Graviton3处理器,基于Arm Neoverse V2平台的AWS Graviton4处理器在计算性能上提升了30%,核心数增加了50%,内存带宽提高了75%。凭借这些技术优势,AWS Graviton处理器在生态系统和客户群体中得到了广泛应用。
Arm Neoverse V2平台涵盖Armv9架构的新特性,包括高性能浮点和向量指令支持,以及SVE/SVE2、Bfloat16和INT8 MatMul等特性。这些特性为AI/机器学习(ML)以及高性能计算(HPC)工作负载提供了卓越性能。
AI/ML工作负载
今年早些时候,Arm与主流的AI框架和软件生态系统合作,推出了Arm Kleidi软件,以确保Arm平台上开机即用的推理性能优化能惠及整个ML栈,开发者无需掌握额外的Arm专业知识即可构建其工作负载,从而进一步推动AI工作负载的广泛应用。此前,Arm已展示了PyTorch中的这些优化如何赋能AWS Graviton4上运行大语言模型(LLM),如Llama 3 70B和Llama 3.1 8B,并显著改善了每秒生成词元(token)数和词元首次响应时间的表现指标。
HPC和EDA工作负载
对于HPC工作负载,Graviton4相较于Graviton3E在功能上实现了显著提升。每个核心的主内存带宽增加了16%,每个vCPU的L2缓存容量翻倍。这些改进对于HPC应用的性能至关重要,因为HPC应用通常受限于内存带宽。AWS已经在这些领域取得了显著优势,如下所示。
根据Arm工程团队实际运行EDA工作负载所得出的结果,Graviton4提供的RTL仿真工作负载性能比Graviton3高出37%。
图:AWS Graviton4上的HPC和EDA工作负载优势
生态系统广泛采用
近年来,随着云计算用户将各种云工作负载部署在AWS Graviton处理器上,其软件生态系统持续扩展。如此一来,客户不仅节省了费用,收获了性能的提升,还能优化其碳足迹和可持续发展足迹。以下是部分示例:
图:采用基于Arm Neoverse的AWS Graviton3所取得的生态优势
着手利用Graviton的强大性能
Arm将在云计算的未来中发挥关键作用,并将继续支持AWS Graviton立于技术创新的前沿。Arm将继续投入并进一步强化软件生态系统,从而使开发者能够更加轻松地在Arm平台上构建其应用,并充分利用Arm计算平台所提供的卓越性能和效率优势。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )