“云边+端”三管齐下,“有蓉”数据库助力四川气象进入天擎时代

原标题:“云边+端”三管齐下,“有蓉”数据库助力四川气象进入天擎时代

《华阳国志巴志》中曾记载:蜀国“山林泽鱼,苑囿瓜果,世代节熟,靡不有焉”,适宜的气候孕育了丰富的物产,滋养了擅长调制百味的巴蜀人民,也锻炼出了驾驭自然、明辨天时的能力。

诸葛亮“夜观天象,知天下大事”的本领,让人赞叹不已。而今天,四川正在用尖端的计算科学来把握风云变幻。

国内老牌数据库厂商虚谷伟业基于开源数据库openGauss,研发的商业发行版数据库——有蓉,就被应用于四川气象局,助力气象服务。两者结合,将会炮制出怎样的川味气象体验?又能为四川人民的生活带来怎样的新气象?

数据这份“食材”的时代挑战

一个好的气象系统能带来什么,答案可能是:为农林牧副渔等产业提供安全生产的有力支持,把恶劣天气和极端事件可能带来的负面影响降到最低;对气候和环境的监测与了解,也能为当地的可持续发展提供指导。

目前,已有多个省市将“完善气象基础设施”纳入地方“十四五”规划纲要,为防汛、防火提供气象技术服务,确保人民生命财产安全。

这样一盘利国利民的好菜,数据“食材”自然也要跟得上。而这,就给IT基础设施中的基础——数据库提出了诸多挑战。比如说:

气象数据的来源多维,既有模式数据,也有气象站、卫星、传感器获取的实况数据,传统数据库架构面临的挑战越来越大;

时空精度要求的提升,也对气象数据计算量级、存储容量、吞吐量等提出了新的需求;

气象涉及到公共服务的重要数据,因此数据安全,数据可控和数据主权是气象数据库的关键需求。

这一背景下,2019年7月,国家级气象大数据云平台“天擎”上线,就具备海量数据存储、全业务贯通、数据高效应用的能力,成为气象关键IT基础设施,支撑各类气象业务应用的云化,四川的气象数据也通过“天擎”省级数据库来承载。

“有蓉”调制出川味气象基建特别滋味

精准的气象服务,依赖于丰富庞杂的天气数据和实时高效的计算量级。天擎“云+端”的标准架构,原理是把所有数据集中在云端,也意味着全网任何一个业务操作,均需要云端数据库配合,这对云端的性能,数据吞吐能力和数据安全性提出了前所未有挑战。

因此,四川气象基于“天擎”得“云边+端”方案,赋予了“有蓉”数据库独特的味道。

首先,专门调制的“云边+端”方案,打造极致性能、业务吞吐与数据安全的业务架构铁三角。

一方面,端侧集中提供本地应用服务,边侧数据中心也能提供汇聚数据服务并按需与云上保持一致,解决了数据统一集中在云端而导致数据吞吐量过大的问题。

另一方面,边与端直面向区域用户提供服务,可以做到数据隔离,降低数据安全风险。这样服务下沉,分散到各点后,性能压力分散,减轻云上的业务性能压力。

此外,多项独家“配方”的应用,让“有蓉”可以更安心地应对气象大数据挑战。

作为“天擎”系统核心TP数据库的产品服务商,虚谷公司十分重视核心技术创新,虚谷数据库源代码自有率达到了99.5%。全套国产化软硬件,可以避免基础软件层面的不确定性,安心承载重要数据。

“有蓉”的出现,让云时代的气象数据和服务,被赋予更多新的风味与可能。

支撑数字山河,凭借先进的数据库产品构筑创新底座

更深一步,搞清楚“有蓉”背后的创新因果与逻辑,能帮助我们更清晰地理解,数字变局需要怎样的数据底座?具体表现为四个特征:

第一,边侧数据库的引入,为数据服务搭建了“高速通道”。

以“有蓉”数据库为例,数据可以被快速汇总,各种气象传感器的数据源以更短路径发送到端侧数据库中;数据快速存储,集中在云、边的访问量被分散在边侧,可以快速把数据入库;基于鲲鹏全栈的方案(鲲鹏服务器+openEuler操作系统+有蓉数据库〈openGauss〉)提供强大的数据处理服务,操作响应更快,综合提升气象数据的服务体验。

数据显示,依托鲲鹏计算平台的多核高性能,结合有蓉自身领先的高性能內核,可让数据汇聚速度提升约30%,从而保障前端业务的实时响应。

第二,“云边端”的高效协同,数据分级同步提升效率。

在数据同步上,一是按特征同步,时效数据会被实时同步到云端汇总;二是按需求同步,对数据进行分类,只同步云端需要数据,其余数据本地留存;三是跨区域同步,没有及时同步到云端的数据,可以跨区域点对点端侧同步。按照架构的特点,端侧数据库热数据提供本地实时气象服务,全省数据分析汇总和精确预报则在云端完成。

“云边端”协同分工,是四川气象迈向智慧化气象服务的关键。

第三,IT基础设施的稳定,决定了气象服务的业务连续性与可靠性。

气象服务之于国计民生的重要性,也对数据库的可靠性提出了挑战。为此,有蓉数据库基于鲲鹏多核高NUMA-Aware能力,加上数据库內核的无锁化设计等一系列技术,在气象数据高并发、高频数据写入和查询的同时,即使系统资源占用近80%,仍能稳定提供服务。

此外,有蓉数据库还具有金融级的、多地多中心的容灾能力,在部分数据节点宕机后,其他数据库节点迅速接管业务,保证业务连续性,降低数据丢失风险。

最后,则是降低整套系统的部署和运维成本。

气象业务每天会产生数GB甚至TB的时序数据,给运维带来很大的困难。为了让气象这一“大国重器”更具经济效益和社会价值,“有蓉”数据库高度支持HTAP混合负载能力,可以一份数据输出两种业务模型结果,减轻高吞吐压力的同时,极大的节省了业务改造和运维成本。

数据库是IT行业的重要基础软件,越是基础,要翻越技术大山就越难,对产业生态的要求也更高。虚谷伟业公司秉承着“虚怀若谷,有容乃大”的理念,不仅仅自研出了自主可控的虚谷数据库,也完美的吸纳高性能高安全的openGauss内核,研制出具有巨大优势的有蓉数据库,在国产数据库在市场上突破技术壁垒、走向应用,并担负国家公共基础服务走向数字化、智慧化,更好服务社会的重任。

随着一道道“中国味”的基础软件加入数据经济的盛宴,深入变革气象服务等基础民生领域,改变着每一个人息息相关的日常生活,才让数字山河间飘荡出科技的人间烟火味。

纵然无法像诸葛孔明一般神机妙算,亦能借助数据的力量,洞察气象万千、风云变幻。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2021-06-21
“云边+端”三管齐下,“有蓉”数据库助力四川气象进入天擎时代
以“有蓉”数据库为例,数据可以被快速汇总,各种气象传感器的数据源以更短路径发送到端侧数据库中;数据快速存储,集中在云、边的访问量被分散在边侧,可以快速把数据入库;基于鲲鹏全栈的方案(鲲鹏服务器+op

长按扫码 阅读全文