华为发布全新AI存储，以长记忆内存新范式提升AI大模型训推能力

9月20日，在华为全联接大会2024期间举办的数据存储峰会上，华为公司副总裁、数据存储产品线总裁周跃峰博士发布全新AI存储OceanStor A800，以长记忆内存新范式全面提升AI大模型训练和推理能力，助力千行万业大步迈入数智时代。

华为公司副总裁、数据存储产品线总裁周跃峰

人类文明从远古的石器时代，到农业时代、工业时代，直至如今的数智时代，数据作为发展新质生产力的关键生产要素。人们利用数据，在AI大模型、具身智能、AI for science等核心AI领域取得长足发展。

数智时代是数据的黄金时代，数据规模爆炸式增长、数据价值不断攀升的同时，也面临xPU与存储的带宽不足、算力集群可用度低、推理时延长等挑战，对存储提出更高要求。数智时代呼唤Storage for AI，具备极致性能、高扩展性、数据韧性、可持续发展、新数据范式以及数据编织能力的数据存储是通往AI数智时代的必由之路。

为应对以上挑战，华为发布全新AI存储OceanStor A800，在AI大模型高效训练能力的基础上，大幅增强推理能力，并在集群性能、新数据范式上有了跨越式提升，促进AI在千行万业落地。

· 单套AI存储设备支持十万卡级大模型训练

通过构建前端网卡全共享、控制器与后端SSD盘全互联的技术架构，单套存储设备可支持10万卡级集群全互联。一套OceanStor A800 存储最多可实现与19.2万卡训练集群的静态全连接，性能提升40%，空间占用降低80%。

· 以存强算，AI集群可用度提升30%

AI训练中断频频发生，据统计AI训练中心持续训练的时间最长仅为2.6天，导致GPU/NPU必须反复保存CKPT数据。中国移动将华为OceanStor AI存储用于大模型训练，实现150PB单存储集群、8TB/s带宽和2.3亿IOPS的能力，集群可用度提升32%，为后续更大规模大模型训练提供有力支撑。

· 以存代算，长记忆内存型存储提升推理体验并降低系统成本

Long context（长上下文）成为大模型推理的必然发展趋势，根据Scaling law，提供足够高的推理算力和中间Token数，可大幅提升推理的准确度。通过专业AI存储，可长期保存Long context及海量中间推理Token，最大程度提升大模型的逻辑思考和推理能力，尤其是慢思考能力。

OceanStor A800作为业界首款提供长记忆能力的存储，创新性采用多级KV缓存机制，将KV-Cache持久化保存并高效使用，让大模型推理具备长记忆能力，减少在Prefill阶段的重复计算，客户推理时延降低78%，单个xPU卡的吞吐量提升67%，大幅提升推理体验的同时降低成本。

数智时代的全新AI存储，正在金融信贷、投研分析、医疗健康、药物研发等行业场景发挥价值。周跃峰表示，在数据的黄金时代，华为以其创新的AI存储，释放先进数据存力，铸就数智时代根基。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。