我们正在迈入新的智能数据时代!
由大数据产业生态联盟联合《软件和集成电路》杂志社、赛迪顾问股份有限公司、工信部赛迪智库共同编制的《2020中国大数据产业生态地图暨中国大数据产业发展白皮书》(以下简称《白皮书》)显示,数据关键要素作用初步显现,数据共享开放初见成效,数据治理成为关注重点;2020年,我国大数据产业规模将达到6670.2亿元,增长率为23.6%。
随着技术的演进,数据发生了巨大变化,不仅数据规模越来越大、数据种类呈现多样性,而且人们对于数据处理的时效性,以及数据融合分析的要求也越来越高。华为云人工智能领域总裁贾永利表示,为了帮助企业从容应对数据智能时代的各种挑战,华为云推出了智能数据湖FusionInsight,围绕客户在使用数据、管理数据全生命周期方面提供整体解决方案,让企业用户更方便、快捷地用好数据的同时,加速数字化转型进程,释放数据红利。
一切为了数据
在8月31日下午举办的华为云TechWave大数据专题日上,华为云大数据又有新动作,GaussDB(DWS)实时数仓登场亮相。
华为云人工智能总裁贾永利发布GaussDB(DWS)实时数仓
随着5G、人工智能、边缘计算的兴起,数据量越来越大,处理好数据、用好数据成为企业数字化转型的一个首要目标。贾永利指出,从广大政企客户的需求来看,不断增加的多样性数据的统一处理,让数据在处理过程中可管可控,并且可以更高效地协同不同组织变得越来越重要,而实时性处理、数据融合分析则是重中之重。
通过一站式的分析平台,全局使用一份数据,更全面、更精准地分析数据,从海量数据中找到客户真正想要的价值,是大数据厂商肩负的使命。华为云提出的智能数据湖解决方案正是以数据的使用和价值为核心,旨在实现数据全生命周期的高效管理。“基于开放架构的华为云智能数据湖解决方案,真正做到了基于云原生的存算分离,让数据规模可管理、数据更好用。”贾永利如是说。
举例来说,为了提升海量数据的实时处理能力,GaussDB(DWS)实时数仓增强了线性扩展能力,单节点每秒可以处理60万条以上的数据;采用具有最广泛开发者生态的数据分析语言,不管是流处理,还是实时分析,处理性能都会有数倍提升;GaussDB(DWS)的使用更简单,减轻了程序员在开发、使用和运维等方面的工作量;GaussDB(DWS)还可以极大地节省客户数据全生命周期管理的综合成本。
GaussDB(DWS)实时数仓只是“冰山一角”,华为云大数据还有很多“黑科技”等待揭秘。
华为云智能数据湖的秘密
在8月26日揭晓的“2020中国大数据企业50强”榜单中,华为云大数据连续四年上榜。这是业界对华为云FusionInsight的技术创新能力和实践应用成果的充分肯定。作为“最懂行”的大数据解决方案,华为云FusionInsight也再次引发广泛关注。
趁热打铁,在华为云TechWave大数据专题日上,华为的“博士天团”重点揭秘了华为云FusionInsight的几大核心能力——提供大集群、湖仓一体、实时数据湖等关键技术的MRS大数据,全局一份数据、秒级用数、T+0入湖的CarbonData数据存储引擎,GaussDB(DWS)新一代全场景云数据仓库和一站式云化数据运营平台DAYU。
随着5G、IoT新技术发展,数据规模、数据来源、业务场景将快速变化,这些变化给数据存储、计算、分析和安全等带来全新的挑战和需求,大规模、多样化的数据,需要实时、融合分析。华为云FusionInsight MRS大数据就是在不断理解客户场景需求,感受客户使用痛点,积累丰富经验,打造领先的大数据解决方案。
企业级大数据平台FusionInsight MRS,为企业数据湖底座,坚持开放生态,长达十年以上的大数据经验积累,是全球60多个国家与地区3000多个政企客户的共同选择。
FusionInsight MRS支持超2万节点超大规模单集群管理能力,业界最佳,提供企业级多租户能力,让一个企业一个湖成为现实;支持企业级能力让大数据运维无忧,拥有成熟的在线升级能力,升级过程业务零中断,业务永远在线,并已在金融、政府等客户在线升级实践,得到行业高度认可;支持数据湖事务ACID,实现企业数据实时增量入湖,让大数据分析从T+1到T+0,让业务创新更敏捷;支持高性能交互式查询引擎秒级供数,实现湖仓一体,数据不出湖,直接对接BI类业务,自助分析,数据供应链路短,效率提升2倍以上;支持跨源跨域的数据分析,打破地域数据墙,使得企业跨域分析效率从周提升到分钟级。
CarbonData是一个高性能EB级别分析型数据仓库,提供面向对象存储上EB级数据的高性能明细查询能力、交互式查询能力,提供流数据接入、数据实时同步和更新能力,提供对主要ETL业务的支持和加速,以及机器学习、深度学习等AI引擎,生态发展越来越完善。
CarbonData自2015年进入Apache孵化器;2016年CarbonData正式从Apache孵化器毕业,正式成为首个中国公司贡献的Apache顶级项目;2020年重磅发布2.0里程碑版本,重新定义智能数据湖索引和事务能力。
CarbonData数据存储引擎,面对复杂业务场景实现全局一份数据导出使用,免去数据搬迁的困扰;面对海量数据的查询使用,针对性优化了查询加速,可实现PB级数据30秒内响应;在时间就是金钱的信息时代,时效性的突出优势被企业所看好,CarbonData支持数据更新,可实现数据T+0实时入湖,大大优化了传统T+1、T+2的可见时延。
数据仓库是企业的“中枢系统”,也是业务创新的基础,但长久以来一直受到“扩展性、实时性、可用性、易用性”等问题的困扰。华为云GaussDB(DWS)十年磨一剑,在核心技术上实现了突破,为新一代企业级数据仓库系统树立了标杆。
截至目前,全球超过500家大客户已使用GaussDB(DWS)构建自己的核心数据仓库系统。而GaussDB(DWS)之所以能如此快速赢得大企业客户的信任,主要得益于其“大、快、稳”的特点。
GaussDB(DWS)的“大”集中体现在,设计规模为2048节点,可支持PB级数据容量,随着节点数增加,集群的性能和容量呈线性增长,线性比>0.9;GaussDB(DWS)导入和分析“快”如闪电,因为它采用了全并行计算架构,并支持新一代智能优化器技术、高效的算子算法、动态编译等核心技术;因为采用多层备份、多级保护技术,GaussDB(DWS)“稳”如泰山,即使出现软硬件故障,也能快速检测和响应,并自动切换,确保业务持续可用。
12下一页>(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )