华为AI存储荣获2024年MLPERF™ AI基准测试性能全球第一

2024年9月26日,全球最权威、影响力最广的AI基准测试MLPERF发布了Storage V1.0 AI基准测试结果,华为OceanStorA800全新AI存储在全球厂商中脱颖而出,总性能,每节点性能、每U性能均是全球第一。

MLPERF benchmark是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台,它由图灵奖得主大卫•帕特森(David Patterson)联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立,是权威性最大、影响力最广的国际AI性能基准测试。为了紧跟行业前沿,MLPERF每年发布基准测试数据,获得全球广泛认可。

本次存储性能测试共有业界主流的13家厂商参与,通过运行一个分布式训练测试程序,模拟GPU计算过程,最大程度还原AI服务器对存储系统的访问模型。以模拟AI存储系统能够支撑的最大GPU数量,来评估存储系统测试性能表现。其中3D U-Net工作负载每FLOPS算力所需存储带宽最高,且数据需要从存储节点读取,不允许提前在主机上缓存,能够真实体现存储系统性能,更全面、更准确地反映存储在大规模AI集群的性能表现。

特别需要注意的是,MLPerfStorage Benchmark的目标是在满足一定加速器利用率(Accelerator utilization)的前提下,测试出存储系统能够支持的最大加速器(Accelerator)数量以及能够提供的最大带宽。如果希望获得比较好的结果,需要从几个方面进行努力:模拟更多的GPU卡数、存储系统需要提供稳定的低时延、稳定的高带宽,因此,这个榜单评测的目标是存储系统的性能,每计算节点的加速器(Accelerator)数量和带宽取决于计算节点的服务器性能,和存储没有关系。在模拟的GPU型号相同的情况下,总ACC数量(模拟的GPU数)和带宽才能反映存储的能力。

图片 2.png

MLPERFStorageV1.0基准测试结果-总性能华为排名第一

图片 3.png

MLPERFStorageV1.0基准测试结果-每节点性能华为排名第一

图片 4.png

MLPERFStorageV1.0基准测试结果-每U性能华为排名第一

本次获得存储性能测试全球第一的AI存储——华为OceanStor A800,通过单台设备成功满足了255张H100GPU训练的数据吞吐需求,GPU利用率保持90%以上,单框稳定带宽高达679 GB/s,是传统存储性能的10倍。平均每节点提供高达340GB/s带宽,每U提供高达85GB/s的带宽,分别是第二名2.88倍和1.44倍,体现了OceanStor A800全面领先的竞争力。同时可以通过OceanStor A800大规模横向扩展提供百TB级带宽,checkpoint读写时间从10分钟缩短至秒级,断点续训时间小于15分钟,极大减少GPU等待,端到端算力利用率提升30%+,全面提升大模型训练效率。首次参与即在MLPERF Storage V1.0基准测试性能榜单登顶,这一成就不仅彰显了华为数据存储技术的卓越实力,更标志着华为数据存储在业界又达成一个关键里程碑。

华为数据存储深耕细作,持续创新,推出全新OceanStor A系列AI存储。面向AI场景混合负载,基于全新硬件,打造架构领先的存储系统,具备卓越性能、EB级弹性扩展、推理长记忆等能力,全面加速AI大模型训推业务。

面向未来,华为AI存储在AI大模型领域将持续深耕,不断突破性能极限,驾驭AI大模型数据浪潮,引领数据未来。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )