助力千行百业用好数据:贾永利分享华为云大数据技术实践创新

5G、IoT、AI等众多新技术的涌现,人们的工作和生活都发生了极大的变化,一个智能数据时代正在到来。这不仅进一步凸显了大数据的底座价值,也给数据的分析利用带来了更多的挑战。

在今日的在华为云TechWave大数据专题日上,华为云人工智能领域总裁贾永利解读了最新的发展趋势,分享了FusionInsight智能数据湖解决方案等华为云在大数据技术上的实践与创新,以帮助千行百业“管好数据、用好数据”,充分释放数据的价值。

数据分析利用面临多重挑战

回首从90年代到今天,人类经历了PC时代、互联网时代、移动互联网时代,随着不同技术的演进,数据也发生了巨大的变化。

贾永利解读说,首先,数据的规模越来越大。近年来,无论是面向ToB领域、还是ToC领域,随着技术的发展、需求的增长,企业、个人、设备都在时时刻刻产生数据,数据的体积越来越大。

同时,数据种类越来越多,逐步走向多样性。除了我们熟悉的结构化数据,出现了更多的非结构化数据,比如视频、图像、语音、文本等,并且这些多样性的数据需要用多样性的算力去处理,这也给数据处理带来了更加复杂的挑战。

第三,应用对数据处理的时效性要求越来越高。很多场景下,我们需要数据进入系统时就可以被查询、被分析,这个时间差要求越来越短。比如在工业领域,设备的持续数据处理要求就非常高;在金融领域,交易信息、风控信息对数据处理的时延要求亦远超以往。

最后,对于数据融合分析的要求也越来越高。很多场景下,我们希望不止分析当前数据,更希望历史数据和实时数据进行联合分析,随着分析和交易越发紧密、融合,分析的结果、规则越来越多地被注入到实时交易系统中。

不同行业的数据特点与诉求

在解读数据变化以及随之而来的挑战的同时,贾永利亦在发言中剖析了不同行业数据的特点与他们的诉求。

以运营商为例,随着5G的到来,产生的数据、需要处理的数据显著增加。有预测认为,5G的到来将带来至少8倍以上的数据体积膨胀,那么就需要很多处理系统,需要从单集群走向多集群——能不能处理好数据成为一个首要目标。

从广大政企行业来看,越来越多的多样性数据如何统一处理,是否遵循同一套标准、规范,从而能够让整个数据在处理过程中可管可控,更高效协同不同组织、不同厂家进行开发,也极为关键。而像金融领域、工业领域对数据处理的实时性要求极为苛刻,为了避免业务中断过程造成的损失,实时性就成为了核心诉求。

此外,为了高效挖掘数据价值,千行百业的数据融合分析已成大势所趋。是否可以通过一站式的分析平台,全局使用一份数据,从而能够更全面、精准地进行分析,从海量数据中找到客户真正想要的价值,变得越来越重要。

围绕数据全生命周期提供整体解决方案

为了应对企业面临的各种挑战,在数据域,华为云提出了FusionInsight智能数据湖解决方案,围绕客户“采、存、算、管、用”等数据全生命周期提供整体解决方案。

从架构上来看,华为云FusionInsight智能数据湖解决方案是一个开放的架构,充分利用了数据域的处理能力和云自身的云原生(Cloud-Native)能力进行融合,率先做到了真正的基于云原生存算分离的架构和实现,让数据规模可管理不再是一个难题。

华为云FusionInsight智能数据湖方案主要包含MRS大数据、GaussDB(DWS)数据仓库、GES图计算、一站式数据运营平台DAYU等云服务。其中,华为云FusionInsight MRS大数据、GaussDB(DWS)数据仓库,可助力客户在数字化转型中构建坚实的数据底座,并通过HetuEngine数据虚拟化引擎简化用数,提高效率。

同时,为标准化多样性数据,一站式数据运营平台DAYU向下可接入日志、文本、视频、音频、图片等各类型数据,基于多样性算力与CarbonData实现全局一份数据的统一格式存储;向上为伙伴开发50+数据集成开发API,使能数据,携手生态伙伴打造各行业应用。

目前,华为云FusionInsight已广泛应用于政府、金融、运营商、大企业、互联网等行业,携手800多家合作伙伴,为全球60多个国家和地区的3000多家政企客户提供服务。

华为云重磅发布实时数仓产品

为响应政企用户在IoT和运维监控等场景下对数据仓库时效性的需求,华为云发布了GaussDB(DWS) 实时数仓新品,引入了HetuEngine和CarbonDate两个重要引擎,具备快、易、简、省四大特点。

HetuEngine可以帮助企业构建一个虚拟化数据分析引擎,有了这个引擎就可以分析多元、多域更为复杂场景下的数据。CarbonDate可以围绕数据的存储进行一系列优化和数据格式组织,从而实现全局一份数据、以统一的格式存储,能够给北向提供更加丰富的开发API,使数据集成更容易、使用更高效。

在“快”方面,GaussDB(DWS)实时数仓时序数据单机入库性能支持每秒10万条数据、每秒60万条流数据持续计算入库,并可线性扩展。这样无论在工业领域、金融领域,抑或物联网领域,都可以解决很多目前所无法解决的问题。

在“易”方面,GaussDB(DWS) 实时数仓支持基于SQL完成复杂流式计算语义定义,简化开发。以Druid监控的一个场景为例,仅用150行SQL代码就实现了原有1900行Druid脚本同样的功能,实现超过十倍的提升。

在“简”方面,GaussDB(DWS) 实时数仓实现了1 = N。在一个平台内,同时实现Flink/Spark Streaming(流数据处理)+Druid(流数据预聚合)+InfluxDB(时序数据处理),简化了开发和运维工作。

在“省”方面,时序数据经过实时数仓的自适应压缩算法,最高可达40:1的压缩比,将多维度行列存储优化,数据冷热温自动分区,从而极大地减少存储空间,节省用户成本。

“华为云将围绕数据持续进行创新,联合客户和合作伙伴,通过更好的技术,帮助千行百业真正管好自己的数据、用好自己的数据,释放数据的价值。”在发言的最后,贾永利如是说道。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

赞助商
2020-09-01
助力千行百业用好数据:贾永利分享华为云大数据技术实践创新
5G、IoT、AI等众多新技术的涌现,人们的工作和生活都发生了极大的变化,一个智能数据时代正在到来。这不仅进一步凸显了大数据的底座价值,也给数据的分析利用带来了更多的挑战。

长按扫码 阅读全文