几乎每一个行业都在讨论大模型，每一个行业巨头都在训练大模型，人工智能已然进入了大模型主导的时代。
想要占领大模型应用的高地，数据和算力可以说是不可或缺的基石。和算力相关的讨论已经有很多，以至于英伟达的市值在2023年翻了两番。同样不应小觑的还有数据，除了数据量的爆炸性增长，数据的读取、写入、传输等基础性能，开始遇到越来越多的新挑战。
01 “榨干”算力必须迈过的一道坎
在许多人的认知里，训练大模型是一门烧钱的生意。坊间传闻，GPT-4的训练成本高达10亿美元，想要让大模型释放出应有的“魔法”，“涌现”出对答如流的能力，需要一只“独角兽”的前期投入。
再具体一些的话，大模型训练的成本构成中，硬件投资包括算力、运力、存力，其中算力相关硬件投资占比80%。毕竟一颗80GB的A100芯片在国外的定价就高达1.5万美元左右，一个千亿级参数的大模型，往往需要上万颗A100的算力。可在现实的训练过程中，GPU的平均利用率却不足50%，制约因素包括大模型参数需要频繁调优、训练中断后恢复周期长、数据加载速度慢等等。
不客气的说，算力资源闲置的每一分钟都是在燃烧经费，倘若可以进一步提高算力资源的利用率，等于间接降低了大模型的训练成本。要提到算力利用率，必须要迈过的一道坎就是数据读写性能的挑战。
大模型在训练过程中，需要先读取一块数据，在数据读取完成后进行训练，训练过程中会读取下一块数据。如果训练结束时下一块数据没有读取完成，就会造成一定的等待时间。再加上网络波动、算力故障导致的训练中断，即Checkpoint时刻，重启训练会退回到前一个节点，同样会产生算力空置的等待时间。
不那么乐观的是，目前的训练数据通常以图片、文档等小文件的形式存在，意味着在训练过程中需要频繁地读取和写入数据，并且需要支持快速地随机访问。何况大模型训练的原始数据集动辄几十个TB，当前文件系统的小文件加载速度不足100MB/s，无形中限制了整个系统的运转效率。
根据第一性原理，大模型训练时算力利用率低的诱因是海量的小文件，传统存储系统无法高效地处理这些数据，导致加载速度缓慢。大模型训练的效率要达到极致，减少不必要的浪费，必须在数据上下功夫，准确地说，必须要在数据存储性能上进行创新。
而华为在高性能NAS存储上深耕多年，其OceanStor Dorado全闪存NAS拥有业界领先性能，尤其在海量小文件场景，性能做到了领先业界30%。
在openEuler开发者大会2023上，华为还携手openEuler发布了NFS+协议，矛头直指客户端访问OceanStor Dorado NAS的性能，试图通过引入外置高性能并行文件存储系统，缩短大模型训练中的等待时间，尽可能把算力的价值“榨”出来。
02 华为NFS+协议带来的“屠龙术”
揭开华为NFS+协议的“面纱”前，似乎有必要回顾下NFS协议的历史。作为Sun公司在1984年开发的分布式文件系统协议，NFS已经存在了近40年，广泛应用于金融、EDA仿真、话单、票据影像等行业。
只是在时间的推移下，“老将”NFS逐渐暴露出了一些短板。比如传统NFS单个挂载点仅指定一个服务端IP地址，在网口故障或者链路故障场景下，可能出现挂载点无法访问的情况;一端故障时IP无法感知时，仅依靠应用层手动挂载文件系统，双活链路无法自动切换;单个挂载点性能受限于单个物理链路性能，重要业务存在性能瓶颈。
大约在两年前，华为开始了NFS+协议的研发，着力解决传统NFS的不足，最终交出了一份“高可靠高可用”的答卷：
一是可靠性。打个比方的话，传统NFS的客户端和服务端之间仅有一条路，NFS+协议允许单个NFS挂载点使用多个IP进行访问，等于在客户端和服务端之间修了多条路，巧妙解决了传统NFS被诟病的“可靠性”问题。
二是多链路聚合。客户端和服务端之间仅有一条路时，一旦出现事故就会导致交通拥堵;而NFS+协议在选路算法的加持下，实现了单个挂载点在多条链路上均衡下发IO，确保服务端和客户端的数据传输畅通无阻。
三是缓存加速。大模型训练时，需要将元数据缓存到计算节点。传统NFS相对保守，缓存过期的时间比较短。而NFS+协议改善了缓存大小和失效机制，可以让元数据更多、更长时间保存在主机侧，以满足大模型训练的高时延需求。
四是数据视图同步。正如前面所提到的，大模型训练需要快速的随机访问，NFS+协议采用了数据视图同步的方式，大模型训练需要读取某个节点的数据时，直接与对应节点高效地放置和访问数据，找到最优的访问链路。
做一个总结的话，NFS+协议采用了高性能并行文件存储系统的设计，针对海量小文件场景进行了特殊优化，比如多链路聚合、缓存加速、数据视图同步等，均在提升海量小文件的读写性能，最终在大模型训练过程中实现“读写快、少等待”，减少算力的空置时间。
一组Client测试数据印证了NFS+协议的路线正确：相较于传统的文件存储，训练样本小IO随机读性能提升了4倍以上，CheckPoint大文件切片+多路径传输提升了4-6倍的带宽能力，足以满足大模型训练的苛刻要求。
03 数据存储进入到“大模型时代”
某种程度上说，大模型训练催生的数据存储性能要求，不过是文件存储系统加速演变的一个侧面。
直到今天，文件存储的需求仍在不断更新，文件系统的创新也在持续发生，就像大模型训练需求所折射出的演进方向。
要知道，英伟达的一个训练节点，每秒就可以处理2万张图片，每个节点需要8万IOPS，大模型典型配置有是千亿参数千卡，单位时间内对海量小文件的读写频率要求极高。
这恐怕也是华为和openEuler联合发布NFS+协议的原因，市场对于文件系统的创新需求骤然加快，势必会引发头部科技企业围绕数据存储的“军备竞赛”，华为无疑是这场竞赛中冲在最前面的玩家之一。
但对文件存储系统的市场格局稍作了解的话，华为自研NFS+协议，还隐藏着另一重深意。
一方面，Lustre、GFPS、BeeGFS等并行系统的MDS方案，将元数据和文件数据访问分开，仍存在性能和可靠性的瓶颈;而NFS+协议的元数据不再聚焦于某个性能节点，而是分配到集群的所有节点里面，可以在主机侧实现多连接，消除了大模型语境下高频处理小文件的底层瓶颈。
另一方面，站在大多数用户的角度上，NFS+协议可以更好的兼容已有的使用习惯，原先建立在传统NFS上的运维机制和知识体系不作废，文件系统的切换过程更平缓，不用修改操作系统数据面，即可让NAS存储访问性能提升6倍、可靠性提升3倍，以极低的成本拥抱大模型训推浪潮。
无可否认的是，大模型正在从前台的“火热”，转向整个产业链条的协同驱动，数据存储正是其中的关键一环。
在这样的趋势下，行业注意力将从“炼模”一步步转向更高效、更快速的“炼模”，海量小文件的采集和加载性能、算力资源的利用率等指标，将被越来越多的企业所关注，势必会掀起一场化繁为简的文件存储革命。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
