当前，生成式AI(AIGC)已经成为AI产业化发展的主战场，随着大模型参数量和数据量的爆发式增长，多源异构数据的传、用、管、存，正在成为制约生成式AI落地的瓶颈之一。为了化解生成式AI的数据存储与管理瓶颈，7月6日，浪潮信息在“数智未来”AIGC数据应用创新论坛上，正式发布面向生成式AI的存储解决方案，该方案以极致融合、极致性能、极致节能，和热温冷冰四级数据全生命周期管理，助力开启生成式AI新局面，创造智慧时代新机遇。
生成式AI亟待突破多源异构和存储性能瓶颈
生产式AI是人工智能从1.0时代进入2.0时代的重要标志，其具备强大的认知智能，在搜索引擎、艺术创作、影音游戏，以及金融、教育、医疗、工业等领域有着广阔的应用前景。Gartner预测，到2023年将有20%的内容被AIGC所创建;到2025 年人工智能生成数据占比将达到10%。据分析师预测，到2032年，生成式人工智能市场规模将达到2,000亿美元，占据人工智能支出总额的约20%，显著高出当前的5%。换言之，未来十年市场规模可能每两年就会翻一番。
生成式AI主要应用场景涵盖文本生成、语音生成、图片生成、视频生成、代码生成、虚拟人生成等，在每种应用的背后是基于行业上下游对数据进行采集、标注、训练、推理、归档，其特征是数据量大、多元数据类型复杂、服务协议多样、性能要求苛刻、要求服务持续在线。生成式AI对数据存储提出如下挑战：
异构数据的融合：生成式AI训练模型的数据呈现来源多、格式多的多源异构现状，传统存储面向单一数据类型设计，需要以搬移数据的方式实现多协议访问，存储成为应用平台的关键瓶颈;
持续的低延迟与高带宽：模型训练过程中，频繁地从数据集取Token，每个Token一般4字节，实时高并发小IO性能需要极低的延迟;存储模型Checkpoint时，为Checkpoint数据可快速写入，需要高带宽;
EB级大容量存储需求：越多的数据投喂结果越精准的工作原理，决定了大模型训练存在深度学习网络层数多、连接多、参数和数据集种类复杂、数据量大的特征，随着模型参数和数据量的快速增长，对于存储的大容量和扩展需求也迫在眉睫。数据存储产业需要进行全方位的技术升级，通过在多源异构融合、数据高速传输、海量数据管理等方面持续创新，打造专业的生成式AI存储产品与解决方案。
浪潮信息让生成式AI智慧有数
浪潮信息是最早布局大模型的企业之一，打造了算力、算法、数据全栈的解决方案能力。在数据存储领域，浪潮信息准确识别行业痛点、积极布局，经过持续攻关，在融合存储架构、系统性能设计、数据全生命周期管理算法等方面不断突破，打造出生成式AI存储解决方案。
浪潮信息生成式AI存储解决方案基于AS13000融合存储系统，可以支撑AIGC产业上中下游业务应用，并针对不同业务阶段的数据存储需求，提供热温冷冰四级存储，实现数据在各级存储间自动流转。用高性能节点形态来满足数据训练、数据推理两个阶段的高带宽、低延时、高并行读写性能存储需求，用大容量节点形态来满足数据采集、数据准备、数据归档三个阶段的海量多元数据存储需求，方案具备极致融合、极致性能、极致节能三大能力，以及热、温、冷、冰四级数据全生命周期存储管理能力，助力生成式AI突破海量数据存力瓶颈，加速释放数据的价值。
极致融合。为了应对不同模态的多样性需求，浪潮信息提出“协议互通、数据融合”设计理念，一个集群内支持多个存储池，一个存储池内支持文本、图片、音频、视频等多种类型数据存储，一份数据又可以被前端不同业务场景同时以文件、对象、大数据、视频四种存储协议进行并行访问。用一套存储实现支持多模态场景应用，免除了数据跨应用时的复制，实现真正意义上非结构化数据的协议互访互通，让数据融合。
极致性能。AIGC场景数据类型多样化，文件大小不一、数量多，且读写频繁，对存储系统的百GB级高带宽、百万级IOPS需求成了常态。浪潮信息在软件方面，通过数控分离架构减少东西向数据量的转发，通过GDS、RMDA技术缩短I/O路径，通过SPDK、缓存零拷贝技术减少I/O路径上的数据拷贝，以及基于自研NVMe SSD开发的盘控协同技术，减少I/O访问SSD盘的次数，使存储性能得到进一步释放。在硬件方面，优化IO路径通道，均衡IO路径，最大化发挥硬件性能，全闪单节点带宽超过50GB/s，IOPS超过50万;此外，创新性地引入双控全闪节点，带宽超100GB/s，IOPS超100万，真正使系统具备千万级IOPS、EB级带宽，充分满足AIGC场景对存储系统的苛刻要求。
极致节能。浪潮信息近期最新发布了G7硬件平台，存储专用的液冷服务器涵盖性能型和容量型，且均采用模块化冷板组件设计模式。在系统方案层面，浪潮信息具有风液式、液液式等完善的端到端解决方案，能够为用户全方位打造液冷数据中心交钥匙工程，并且完成了业界首次液冷整机柜批量交付，实现PUE<1.1。
端到端的数据全生命周期管理。除了三大“极致”能力之外，得益于“资源互通、管理融合”的设计理念，浪潮生成式AI存储方案基于闪存、磁盘、磁带、光盘四种介质提供热温冷冰四种存储资源，通过资源互通实现数据全生命周期管理。基于数据的热度识别，自动释放在线存储空间，可以将海量数据自动归档到光盘库，降低长期存储成本;实现冷数据的分钟级快速回调，满足0~4级应用的存储需求。四种介质、四类存储节点，提供热温冷冰自动流转，满足各类应用的灵活配置需求，通过性能型、均衡型、容量型、高密容量型四种机型的按需灵活配置，进一步降低整体投入。
目前，浪潮信息生成式AI存储解决方案已经在全球领先的中文语言大模型“源1.0”中成功落地，面对千亿级参数量和数据量带来的挑战，浪潮信息通过AS13000高吞吐并行存储系统实现了多存储协议互通、数据融合，利用全闪的极致性能，助力“源1.0”大模型实现了16天完成训练的超高效率。国内AI独角兽公司采用浪潮信息提供的并行文件存储，承载5000亿参数量的NLP语言类大模型的数据集Token和CheckPoint文件，轻松应对大/小文件的读写挑战，配置AS13000全闪存储集群，支持高性能RocE组网和GPU直通存储功能，带宽超过300GB、存储性能超过350万IOPS，保证存储集群的高可用与敏捷扩容。
面对生成式AI掀起的变革热潮，谁能掌握数字化变革的先机，谁就能把握未来AI革命的致胜关键，而数据底座将成为千行百业创新变革的重要基石。浪潮信息存储秉承“存储即平台”的产品理念，精耕数据存储产品与解决方案，携手合作伙伴，助力生成式AI在金融虚拟客服、图片编辑设计、智能驾驶、跨模态检索等场景的落地，激活数据要素新潜能，驾驭智慧化转型新趋势，在机遇与挑战并存的新格局下，为行业转型注入新价值、新动能。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
