挑战存储“不可能之三角”:用自研技术引领存储性能突破

科技云报道原创。

存储,是数字化时代的“粮仓”。它承载着企业的海量数据,是企业数字化转型的基础。

然而,随着非结构化数据在生产业务中的广泛应用,各行各业正在经历数据量的爆炸式增长。虽然分布式存储在大众认知内具有高性价比和高扩展性,却未被赋予高性能的标签。

可以说,分布式存储没能完全解决存储领域“大容量、高性能、高性价比不可能之三角”这一痛点。

分布式存储的主要优势在于其出色的对象存储能力,但在文件存储的性能表现上,大小文件有所差异。

对于大文件的处理,由于技术壁垒较低,并且许多业界厂商已经针对此进行了深入研发和优化,因此大文件的处理效果相对较好。

然而,分布式存储对于小文件的处理却受限于其开源的Ceph架构,需要处理大量小文件时,元数据管理、存储空间和IO性能等能力跟不上,性能表现并不理想。

至于高性价比,这要求在低成本的同时提供更高的性能和更大的容量。以往业界认为,高性能一定伴随着高成本,但实际上这是对高性能和高成本之间关系的误解。

只有找不到合理有效的优化手段或解决方案时,才可能需要通过增加硬件投入来提高性能。

那么,如何解决分布式存储的“不可能之三角”?

这是一个值得深思的问题,也是一个不小的挑战。现在,在存储赛道上,有一个“老道的新手”用自研技术,成功走到了大容量、高性能、高性价的交集里。

做分布式存储易做好分布式存储难

数字化浪潮汹涌向前,与之同行的是,存储行业也要不断地创新求变。

2018年前后,视频、音频等非结构化数据开始爆炸式增长,特别是在政府、医疗、媒体等领域存在大量的视频数据存储需求,对存储海量数据、存储系统的扩展性提出了新的要求,以集中式架构为主SAN、NAS传统存储瓶颈开始凸显。

存储市场需求的变化,也催化了新技术的爆发。这个时期,分布式存储技术开始在各大厂商之间冒头。

分布式存储将数据分散存储到多个存储服务器上,并将这些分散的存储资源构成一个虚拟的存储设备,从而实现了存储容量的扩展、性能的提升和成本的降低。

2020年,被视为分布式存储爆发元年。根据IDC发布的《中国存储市场季度追踪报告》,2020年中国分布式存储市场规模达到了37.2亿美元,同比增长68.2%。

其中,企业级分布式存储市场规模达到了33.8亿美元,同比增长69.2%。

尽管分布式存储已逐步进入生产领域,但市场的变化,仍在催生新的需求。

最初,市场的焦点主要在于“存下来”,即如何存储日益增长的数据,例如政府的智慧城市项目和医疗影像的长期存储。

对于这类“第二存储、备份归档”等边缘数据场景,分布式存储的低成本、高扩展性能够很好地满足。

随着时间的推进,对存储“高性能”的要求也日益提升,以满足例如医院的PACS阅片场景,实景三维场景,企业EDA场景等应用的需求。

这些应用不仅需要存储海量数据,还要求快速处理和分析这些数据。显然,市场上普遍存在的“大容量但低性能”的分布式存储已跟不上市场的需求。

近年来,随着AI训练、芯片等高精尖产业的快速发展,对存储系统的“综合性能”提出了更高的要求。

这些应用需要的不仅是海量的存储容量,更要能够处理混合负载,即高速的数据处理能力和对不同类型文件的支持。

事实上,在处理“混合负载”这一点上,目前分布式存储产品普遍性能满足不好。

混合负载的特点在于,既包括大文件(比如几百兆甚至几个G的视频文件),也包括很多小文件(比如只有几KB甚至更小的文本文件),当数据量达到一定规模,小文件的处理性能就成为性能瓶颈。

不难发现,分布式存储在一定程度上能够解决传统存储在性能、扩展性方面的问题,但想要实现高性能的目标,依然非常困难。可以说,做分布式存储容易,但做高性能的分布式存储难。

分布式存储想要解决“大容量、高性能、高性价比”的“不可能三角”难题,目前能够完全作答的厂商并不多。

入局存储赛道十年的深信服,正是其中的佼佼者。

坚持自研技术深信服挑战存储“不可能之三角”

2013年,深信服作为国内最早钻研虚拟化技术的云计算厂商之一,凭借虚拟化技术的优势,开始摸索着切入存储赛道,那时深信服内部称之为“虚拟存储”,顾名思义,扮演的角色是深信服桌面云和超融合存储底座支撑。

彼时,经过超融合、桌面云的用户“检验”之后的“虚拟存储”,也日渐成熟。

随着各行各业数据不断增长,深信服看到了用户在小文件场景面临的困扰。2017年开始,深信服决定独立发展存储,加大投入,打造用户真正需要的存储底座。

在与传统存储厂商的竞争中,深信服抢占了先机:一方面,深信服精准把控了市场需求变化;另一方面,通过自研核心高性能架构,实现了弯道超车。

带着对用户需求的深刻洞察,从2020年开始,深信服EDS存储将目光锁定在了主存储领域,专为“高性能大容量文件存储”而生——能支持混合IO负载,兼具大小文件能力,瞄向高精尖场景。

2023年,深信服发布了EDS分布式存储501高性能版本,这在存储业界也意味着分布式存储能堪当大任,承载核心生产业务。

在深信服看来,存储“不可能之三角”的破题秘籍在于,充分发挥硬件存储介质性能和提升软件数据管理及处理能力,从而取得“高性能+大容量+高性价比”的平衡。

高性能和大容量一步到位

存储设备的性能通常由其读写速度和承载数据量的能力来衡量,特别是在处理大量小文件时,读写速度和系统的稳定性尤为重要。

读写性能提升上,深信服EDS存储设计的读写模式充分适应了SSD与HDD混合闪存介质的特性,以此充分激发硬件性能。同时,通过增加NVMe SSD即可实现容量的横向扩展、性能的线性提升。

同样大小的内存空间,深信服EDS存储基于多活的元数据能力,可以充分发挥各节点的磁盘性能,让元数据访问效率提升 10 倍以上,可缓存的元数据规模是Ceph系产品的7倍,在 AI 训练等场景下可以保持 90% 以上的元数据命中率。

不仅如此,深信服EDS存储在IO整合、数据缓存与协议增强等核心技术方向上也构建了自己的核心能力,来提升海量小文件和大文件高吞吐场景的性能。

通过小文件的聚合和动态IO整合,深信服EDS存储实现了性能层空间的最小化,并且在持续写入文件的过程中,保障性能层不会被击穿,始终保有充足的空间进行数值的排序与整合,通过这样的动态整合来解决容量使用超过80%后导致的垃圾回收挤占而性能下降的问题。

对于延迟敏感型业务,深信服EDS存储采用自适应三级缓存技术,缩短数据路径将数据时延降至us级。

在协议增强上,相比于标准文件共享协议协议,深信服EDS存储提升了2-3倍,进一步降低协议对性能的额外开销,缩短时延和提升性能。

深信服EDS存储性能和容量线性同步扩展

基于分布式存储架构的天然优势,当用户需要更大的存储空间或者处理能力时,只需要添加更多的节点即可,无需改变已有的硬件或软件结构,也无须面临替换存储阵列硬件的昂贵投入,获得性能和容量的真正“自由”。

打破常规:以更低成本驱动高性能和大容量

传统阵列存储如果要同时满足大容量、高性能的需求,往往需要投入很高成本,高昂的磁盘阵列扩容扩展的费用也让很多企业不堪重负。

而在深信服看来,同时获得高性能和大容量可以用更经济的方式,也不需要过度依赖昂贵、高端的硬件配置。

一方面,深信服EDS存储实现了冷热数据自动分层,热数据存储在NVMe 或SATA固态盘构建的高性能层,冷数据存储在机械盘构建的大容量层,这样能帮助用户节省存储的硬件成本。

另一方面,基于深舟数据管理平台、EDSData Explorer等软件,实现数据的高效压缩和管理,64GB内存可以承载亿级以上规模小文件的高速读写,帮助用户合理规划存储的投入成本。

深信服EDS存储自研架构

通过硬件+软件的组合式创新,深信服EDS分布式存储在高性能、大容量、高性价比等方面都取得了显著的提升,能够满足容量大且大小文件混合负载的应用场景,很好地解决了存储“不可能之三角”。

对存储而言,性能优化可谓是一场没有终点的马拉松,持续在通用硬件上激发出更高、更稳定的存储性能,通过软件实现更快的数据接入、数据管理,用户便可以用更低的成本投入获得可支撑核心业务运行的存储产品。

自研分布式存储系统的深信服,技术栈更加先进,加上软硬件结合与适配,在性能、可靠性等方面出类拔萃,胜任高精尖领域的各种存储需求。

一款产品好不好用客户反馈是真正的试金石

一款好的存储产品,不仅是实验室里的高性能,更是用户生产环境的实际需求的高性能。

上海某专科医院的影像数据每年以15%的速度增长,深信服EDS存储不仅满足其扩容需求,而且还能轻松应对就诊高峰期的高并发阅片,阅片端每秒可加载1000张CT影像。

这意味着,医生可以在更短的时间内完成阅片,提高工作效率,为患者提供更优质的医疗服务。

除了实实在在为医院、医疗助力之外,深信服EDS存储也应用在AI、芯片、测绘、媒体等多场景。

在芯片设计场景 ,深信服EDS存储可以支撑更大规模的EDA仿真任务,激活100%活跃算力。这意味着,芯片设计企业可以更快地完成EDA仿真,缩短产品研发周期。

在测绘场景 ,EDS 501高性能版本每天可以处理70000张航片。

在航片导入场景 ,相比于其他厂商大文件吞吐能力提升2倍多;三维建模场景的小文件效率可接近于本地NVMe SSD,CASS3D在线打开海量小文件组成的三维成果数据耗时相比于某阵列NAS缩短8倍多。

结语

在高精尖领域的成功,深信服证明了EDS具有强大的市场适应性,这也为其在其他行业的发展奠定了良好的基础。深信服之所以在这些场景中表现出强劲的性能,这得益于EDS的“业务优先”理念。

深信服EDS存储从不“唯数据论”,不盲目追求性能数据上的提升,而是落到真实的业务场景,针对业务特征进行性能优化,为实际业务运行带去更好的体验。

同时,深信服EDS也不鼓吹“大而全”,而是聚焦在高性能文件存储这一领域精益求精,力争领导者。

深信服作为存储领域“老道的新手”,在高性能存储之路上,追求的不仅是将自身在云技术栈十多年积累的存储技术用于EDS存储,更重要的是深入到每个用户的实际应用场景中,以生产业务的高性能需求为导向,真正实现用户需求和技术优势的最佳结合。

【关于科技云报道】

专注于原创的企业级内容行家——科技云报道。成立于2015年,是前沿企业级IT领域Top10媒体。获工信部权威认可,可信云、全球云计算大会官方指定传播媒体之一。深入原创报道云计算、大数据、人工智能、区块链等领域。

免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2024-01-03
挑战存储“不可能之三角”:用自研技术引领存储性能突破
科技云报道原创。存储,是数字化时代的“粮仓”。它承载着企业的海量数据,是企业数字化转型的基础。然而,随着非结构化数据在生产业务中的...

长按扫码 阅读全文