新技术的交织驱动下,新数据元年已经到来,新时代下的数据存储和使用有什么特点?分布式存储为何能助力企业从容应对新数据挑战,引领未来?
2019年,大数据、云计算、人工智能、物联网、5G……各种新技术名词不再停留在纸面,正在以前所未有的速度扑面而来。在IDC与浪潮联合发布的《2019年数据及存储发展研究报告》中,用了“新数据时代元年”来形容2019年,说明各种新技术交织的威力,也说明数据正在发生前所未有的化学反应。而元年的重要标志之一,是中国数字化转型IT支出在2019年,将首次超过非数字化转型IT支出,占比达到51%。
新数据时代,分布式存储成为趋势
新时代下数据的形态将会发生诸多改变,而相应的数据存储,则要需要新的基础设施来应对挑战。
数据存储不止于大,更应实时快速流动和易于管理
在医院中,患者拿着庞大的片子穿梭在各大科室的情景还历历在目,这是数据无法实时流动的典型。新时代的检测虽然数据量大幅攀升,但在云端存储的支撑下,即使医院再繁忙,医生也可以即时调取查看。如果数据只是简单存储,不能实时调取、快速流动和便于管理,就如还需要患者拿着片子跑那样,无法适应新时代的业务需求。
在各种新技术的交织下,数据会持续大爆炸已是共识,医院的3D PACS系统(三维医疗影像)会产生海量的小文件并发存储访问只是其中一个小例子。新时代下,由AI驱动的应用数量将会激增到百万级的规模,和其它新技术交织在一起,海量、多元、非结构化将是新时代下数据的新常态。
全球四大类型数据趋势概览,2018-2023年
据IDC预测,到2023年,企业产生的数据量将超过消费者所产生的体量,占整个数据圈的59.4%。企业数据的海量产生,说明业务的种类和形态正在发生巨变,如何从容应对海量数据、数据实时性和可靠性、数据整合及管理,从海量数据中挖掘价值,就成为最重要的课题。
海量数据的挑战十分严峻,据IDC数据,2025年全球新创建的数据将达到175ZB,而目前存储下来的数据只有1%左右。预计2018-2023年,全球存储装机容量将以18.4%的年复合增长率增长,其中企业级存储装机容量将达到25.1%的年复合增长率。
全球实时数据趋势预览,2018-2023年
数据的可靠性和实时性则是IT基础实施建设的巨大挑战,物联网以及人工智能和渗透,如金融的风险评估、交通的自动驾驶等,都需要可靠数据低延迟实时流动。IDC预测,到2023年,实时数据将占全球数据圈24.5%的份额,海量、多元和非结构化成数据常态。
数据整合及管理的挑战也十分巨大。数据的快速流动需求源自于云、边、端的实时协同,虽然数据的产生更多来自端侧和边缘,但最重要的数据存储位置依然在核心,而边缘产生的数据量具有较高的增速,未来五年复合增长率预计达到33.2%。
为了直面这三大挑战,企业的IT基础设施将从云+端的两级架构向云-边-端三级架构演进迭代,存储系统则形成了随需应变、软件定义、智能化和多云部署的大趋势。在新时代的需求下,存储系统架构上的变革不可避免,而高效、易于扩展的分布式平台,则有望引领趋势。
数据存储新基座 分布式存储引领未来
报告用闪存是数十年来存储介质最重大的突破,来类比分布式平台是系统架构上的重要变革。IDC也预测,到2023年,40%左右的存储系统都将是分布式存储架构。
浪潮分布式存储
为什么传统集中式存储无法适应新时代的需求?举个智慧交通的例子——成都市不到10条道路的范围内就有超过6,000路视频流业务,每天90TB的视频数据和上亿的张卡口图片,8小时内要完成1亿张图片近10亿次的操作,并能秒级呈现。这种情况下,传统存储的扩展性和数据处理能力远远达不到要求,浪潮分布式存储以小文件聚合、存储自动分层等功能提供了100多个节点共20PB容量,才实现了每天亿级文件数据的并行读写、低延时的要求。
从这个案例中,可以看出分布式存储的特点——可扩展的架构并将数据负载分散在多台存储系统,既提高了存储效率和数据的安全性,又能在性能和容量的横向扩展上随需应变,解决大规模、高并发场景下的存储访问问题。这种灵活又安全的特性,非常利于面对新时代多变的应用环境。
同时,随着业务的不断发展,企业通常都需要面对多云环境,而多云环境下的数据治理一直都是痛点。采用标准化的存储容器接口,支持云、核心或边缘部署,是多云环境存储的趋势。浪潮分布式存储可以在一套系统内提供文件、块、对象、大数据等多种存储服务,支持多种接口对接,实现了软件定义存储、智能化管理和多云间数据快速流动。
传统存储系统会存在高额的人工运维成本,如果不有效应对,在业务数据量和复杂度大幅增加后,这个成本将成为企业沉重的负担。而分布式存储可以充分利用人工智能技术,实现从被动的故障维护转变为主动重建和维护,不但可以提升管理效率降低运维成本,甚至可以对性能需求和容量瓶颈进行预测,从容应对未来。
新数据时代四大特征
在以5G、人工智能、物联网为首的新技术驱动的新时代,万物智连的数据形态本身就是高度分布式的存在。而随着技术应用落地的进一步发展,其产生的化学反应会加剧,新数据形态、新应用模式和新价值需求会进化得越来越快,企业也将更依赖数据采集、数据分析来提升生产力、开展业务。所以,更能适应大数据分析、视觉计算、多云等场景的分布式存储,其取代传统存储方式是大势所趋。
在报告中,IDC对企业应对新数据时代带来的挑战提出了三点建议——
多元部署:数据的产生和存储,都向云-边-端多元部署,企业应及时引入新的存储解决方案。多云就绪:多云环境是未来的必然趋势,企业应选择高效的多云环境关注新技术:传统的存储正在达到物理极限,并带来成本的挑战,企业应持续关注新技术,比如分布式存储、闪存技术、人工智能运维等,解决弹性、效率、性能和成本等问题。
这三大建议,都需要分布式存储才能更好地实现。新时代下存储解决方案的选择,其重要性可见一斑,而具备多项优势的分布式存储,则是企业迈向新时代的必由之路。
- 蜜度索骥:以跨模态检索技术助力“企宣”向上生长
- 科技巨头合并传闻!本田与日产将谈判,苹果市值突破3万亿美元大关
- 豆瓣 App 闪退原因揭秘:缓存错误配置文件,卸载重装轻松解决
- 外媒呼吁OpenAI审慎投资大模型,IPO融资谋求2025年新发展
- 豆瓣App闪退频繁,用户反馈问题,公司暂无回应,到底孰是孰非?
- 极越车主福利来啦!领克中心售后加速处理,吉利杨学良承诺创新服务
- 豆包视觉模型颠覆行业:价格实惠,创新驱动视觉新篇章
- 工信部优化车联网通信,助力车联网产业升级,提升出行体验
- Outlook登录问题未解,微软:我们仍在努力修复,别慌!
- 限时福利!苹果App Store充值享5%额外奖励,抓紧时间不亏!
- 马斯克冲刺5000亿美元身家:全球首富之战再掀波澜
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。