近日，存储圈又有炸裂新消息。
高性能计算（HPC）领域最具影响力的IO500最新一期榜单公布，以华为OceanStor Pacific分布式存储为核心底座的Cheeloo-1系统表现一骑绝尘，在最重要的10节点榜单中以创纪录的13万总得分位列第一，性能是上届冠军的15倍之多。
无疑，这份超高的存储性能成绩具有里程碑意义：不仅体现出华为OceanStor Pacific分布式存储强大的产品力，更标志着分布式存储在高性能计算领域的重要性愈发突出，甚至加速拉开了高性能计算向HPDA（High Performance Data Analytics，高性能数据分析）演进的序幕。
HPDA是HPC新的制高点
数据正在深刻影响高性能计算领域。
众所周知，随着数字经济高速发展，数据已是最重要的生产要素之一，其对于各行各业的影响日渐凸显，高性能计算领域也不例外。过去，能源勘探、基因测序、气象预测、类脑研究、灾害模拟等是典型的HPC场景，侧重数值计算，计算是绝对主角；如今，HPC场景则走向HPC+AI+大数据融合，“数据要素”扮演的角色愈发引人瞩目，成为科学研究、自动驾驶等诸多HPC场景的新型驱动力。
例如，华西医院的精准医疗研究，其一台基因测序仪一年产生的原始数据和膨胀数据高达8.5PB，研究人员在海量基因数据中进行多组学数据分析，首次将人类全基因组分析推进到了分钟级时代，对精准医疗发展意义重大；在气象预测方面，预测模型加入更多维度的海量数据，意味着气象预测可以更加快速和精准，对于防灾、生产等有着明显指导作用；在如火如荼的自动驾驶场景，模拟和验证阶段的数据量高达数百PB，汽车厂商们利用海量数据来训练更高级的自动驾驶方案……
人们依靠数据密集型应用，进行海量数据实时分析，并寻找相关性，从而获得新发现。HPDA的发展对于国民经济有着重要的价值与意义，同时也给时代提出了更为严苛的诉求，数据密集型应用具有不可重复性、高度不确定性、高维、计算高度复杂等特性，且众多HPC系统与应用从“数值计算型”向“数据密集型”演进，这对互联带宽和存储IO响应有着极高的要求。
对于HPC而言，应用类型的转变标志着过去重计算、轻存储的“偏科生”建设模式，其瓶颈日益突出，加速向HPDA（High Performance Data Analytics，高性能数据分析）平台演进是必然趋势。这也意味着，注重数据存储建设、关注数据价值释放将成为HPC的长期任务。
毫无疑问，业界早已意识到数据存储对于HPC发展的重要性。去年，CCF高性能计算专家委员会、信通院等单位联合推出的《高性能计算系统性能评价白皮书》首次提出的综合评价体系中，就将数据存储多个指标纳入其中，提倡算力、存力平衡设计与建设的模式。
此外，从2017年11月开始，全球顶级高性能计算会议都会发布IO500榜单，与TOP500榜单并列，将数据存储与计算并列为HPC重要的评估指标。事实上，从近年来IO500榜单的变化，我们明显感受到HPDA对于分布式存储带来的变革性影响。
从IO500读懂分布式存储趋势
毫无疑问，高性能计算是分布式存储的高价值应用场景。在传统HPC向HPDA演进的过程中，分布式存储扮演着关键角色，支撑起海量数据高性能并行访问与计算的高吞吐、高IOPS、混合负载等需求。
如何评价分布式存储的性能优劣？IO500榜单在2017年11月横空出世，凭借其全面、严格和科学的标准化性能测试套件，以及贴近用户实际环境和使用状况的测试配置与方法，IO500已经成为HPC领域针对存储性能的国际权威排行榜，更是分布式存储发展趋势的风向标。
IO500每半年发布一次，包括 “总榜单”和“10节点榜单”两类，其中“10节点榜单”非常贴近用户真实的使用情况，其测试结果也非常便于用户做横向对比，对用户的参考价值极高。
经过将近6年的持续发展与完善，IO500更像是分布式存储产品先进技术的“试验场”和产品力的“比武擂台”。在HPC场景下，对于架构、性能、带宽、容量、延迟等持续增加的需求，各大用户和厂商们不断摸索、构建出新的分布式存储产品方案，在你追我赶中提升了分布式存储的特性，切实推动了分布式存储的发展。
例如，HPC从侧重数值计算向HPC+AI+大数据融合，带来的是应用负载类型的多样化和复杂化，直接推动着分布式存储多协议和混合负载特性的发展。像自动驾驶场景，数据处理流程复杂，从数据导入、预处理到训练、仿真、结果分析，不同的数据处理环节，使用到的协议类型不尽相同，如果每个环节都采用一套存储，则会大幅提升数据存储成本和数据管理的复杂度，而支持多协议互通的分布式存储，无疑成为了解决这一难题的关键。
再如，在IO500榜单中，用户与数据存储厂商携手打造的分布式存储方案，在稳定性、可靠性等方面比开源方案更胜一筹，逐渐成为了HPC的主流建设模式。众所周知，随着应用类型的转变，HPC应用的长期稳定运行极为关键，对于可靠性和可用性也愈发重视。比如，气象预测和灾难模拟等典型场景，对数据的时效性和业务连续性要求极高，一旦发生中断，将带来一系列连锁反应，而分布式存储日渐发展出的高稳定和高可靠的特点，则满足了这些典型场景的需求。
综合来看，HPC已经成为推动分布式存储技术、产品和方案发展的重要抓手，像分布式存储的支持混合负载、多协议互通、数据高可用、全闪化等特性，均在HPC场景中得到实践和应用。
事实上，华为OceanStor Pacific分布式存储在HPC领域的成功就是最好的例子。作为常年霸榜IO500的分布式存储产品，华为OceanStor Pacific凭借多年的深耕细作，在HPC场景中不断积累与创新，取得多项关键技术的突破，实现产品与用户的双赢。
华为分布式存储：五边形战士一骑绝尘
在本次IO500榜单中，以华为OceanStor Pacific分布式存储为核心底座的Cheeloo-1系统，搭载了全新研制的OceanFS2新一代并行文件系统，真正打破了HPC在存储层的关键性能瓶颈，在总体得分、带宽性能、元数据性能等五个维度上的得分均遥遥领先，堪称全能型的五边形战士。
在满足HPC各项存储需求的基础上，华为OceanStor Pacific分布式存储如何做到在综合性能上比其他厂商快得多？这得益于华为在分布式存储领域始终如一的研发创新，逐步在应用、算法、网存和架构四个层面，形成综合优势。
出处:IO500官网
首先，在应用层面，华为OceanStor Pacific分布式存储打造了应用感知的DataTurbo数据加速引擎，利用融合数据格式、近数据处理和特征处理算子卸载加速等创新技术，实现了对各种HPDA 应用的性能加强。
比如，针对HPDA中愈发密集、愈发不可或缺的大数据环节，数据处理流程的各类ETL严重影响了数据处理效率，而OceanStor Pacific分布式存储灵活对接各种大数据引擎的“基操”，实现了数据湖和数仓之间的数据共享，大幅减少了ETL的需求。
再例如，DataTurbo数据加速引擎在存储侧为计算引擎开启缓存能力，通过自动缓存热点数据进行预处理，并在多个计算集群之间共享缓存数据，以削除计算侧加载时的资源消耗和时延，实现效率60倍提升，让数百PB数据查询缩减至10秒。
其次，在算法层面，华为OceanStor Pacific分布式存储采用业内独创的SmartBalance全均衡设计，实现数据类型和I/O流的智能感知，解决CPU算力不足或调用堆栈深度等软件问题引起的IOPS瓶颈、HPC多流程跨系统的数据迁移、数据膨胀等难题。
比如，华为OceanStor Pacific的大小IO分流处理技术，实现了在一套存储中带宽、IOPS和OPS性能全优，单节点性能达到了20GB/s的带宽和20万IOPS，是业界的最高水准。
此外，独创的融合非结构化元数据索引，实现文件、对象和大数据等原生多协议无损互通，一份数据多端调用。并且，针对数字化病理、卫星遥感、基因测序等，华为采用智能感知语义格式、多模态聚合、智能分区编码等技术，进行场景化二次压缩算法，将压缩比例提高了30~80%。
华为的算法创新在真实HPC场景中有何价值？以其独创的融合非结构化元数据索引为例，在科学计算等典型的HPC场景中，创建数据集一直都是老大难的问题，动辄又数十TB的数据集，过去如果需要创建多个数据集，以满足不同研发团队的需求，往往需要通过数据复制的方式，效率极其低下；如今，利用融合非结构化元数据索引，则不需要通过数据复制的方式，一份数据集能够轻松被多端灵活调用。
第三，在网存层面，华为OceanStor Pacific通过自研的网络芯片支持RoCE，以及RDMA和IP的访问能力。在同时支持带宽、IOPS等不同类型的业务时，可以智能调整网络的相关参数，提供更好的拥塞控制，从而大幅降低不同存储节点间的数据交换时延。
最后，在架构层面，华为OceanStor Pacific采用全对称架构，实现了智能IO路径与磁盘管理，以及极高的数据可靠性保护，大幅领先开源方案。众所周知，Lustre等开源分布式存储在HPC领域被多年应用，但Lustre的非对称架构、IO路径漫长、磁盘碎片化严重、无冗余保护等劣势，在如今的HPC场景中逐渐凸显，越来越多用户开始转向以华为OceanStor Pacific为代表的商用方案，从而在架构、性能和可靠性方面获得更好的保障。
写在最后
根据Gartner 2022年存储和数据保护技术成熟度曲线(Hype Cycle for Storage and Data Protection Technologies, 2022)，分布式文件系统、对象存储、容器原生存储等分布式存储热门技术，在未来2-5年里将进入高优先级。这也预示着，分布式存储会存储市场中呈现势不可挡的爆发。
凭借多年来在分布式存储领域的关键技术积累与突破，华为分布式存储已成为该领域的翘楚，在市场份额、行业覆盖、产品竞争力等多方面遥遥领先。
以市场为例，华为分布式存储作为连续多年冲入Gartner文件与对象存储魔力象限的唯一中国厂商，在全球份额上也令人惊喜。
国内市场上，华为分布式存储连续六年高居市场第一，早已执掌半壁江山。放眼全球，2022年全球二级存储收入排名第二，达到总份额的25%，以18%的增速远超其他对手。
在行业覆盖方面，华为分布式存储在欧洲、中东、拉美和亚太等地区的关键业务场景，均实现了大规模突破，除了高性能计算之外，还包括教育科研、金融、医疗保健、媒体娱乐、交通安平、大数据分析等行业。
据IDC预测，到2025年，中国的数据量将增长到48.6ZB，成为全球最大的数据圈，其中80%是非结构化数据，这无疑对擅长存储和处理非结构化数据的分布式存储有着长期需求。随着中国数字经济持续高速增长，数据要素、东数西算、产业数字化等战略的出台，存储成为了最重要的数字底座，而华为分布式存储凭借过硬的产品力、强大的方案以及联合创新的模式，能够为数字底座筑造最为牢固的数字基石。
免责声明：此文内容为第三方自媒体作者发布的观察或评论性文章，所有文字和图片版权归作者所有，且仅代表作者个人观点，与极客网无关。文章仅供读者参考，并请自行核实相关内容。投诉邮箱：editor@fromgeek.com。
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
