星环数据云平台 TDC 3.1 发布,新增滚动重启、存储回收站等八大核心功能

近日,星环数据云平台 Transwarp Data Cloud (以下简称 TDC)正式推出 3.1 版本。TDC 是采用云原生技术,融合星环科技全系产品打造的统一 PaaS 平台,可以为企业提供数据流通交易平台、企业湖仓一体数据湖、企业数据中台、联邦云、企业数字化转型、政务大数据、云原生数据科学云和高并发数据应用八大解决方案,能够满足企业各种数据处理场景的需求,帮助企业实现企业数据与应用的生态化建设。截至目前 TDC 已经为政府、银行、基金、能源等多个行业提供完整的数字化建设解决方案。

在星环科技 2022 年春季产品发布周上,TDC 重磅发布了 3.0 版本,提供了三大核心能力:第一,支持星环科技全系产品新版本,同时 PaaS 能力持续增强;第二,新增联邦云管理功能;第三,安全升级,新增隐私计算区。3.0 版本发布以来被众多客户认可,是一套优秀的数据云平台。经过半年的打磨,TDC 再次推出 3.1 版本 ,此次的新版本新增了八大功能,同时对原有能力进行了优化升级!

新增滚动重启、存储扩容、存储回收站等八大核心功能

滚动重启,保障业务连续性

新增对多副本高可用角色(工作负载)的滚动重启能力。将底层滚动重启能力和业务重启逻辑结合,在变更过程中,实现了分布式系统的可靠自动有序重启,保障在 TDC 上运行的大数据业务的运行连续性。

多种存储扩容方式,满足数据持续增长

支持对星环科技存储引擎 TDFS、TDDMS 进行手动扩容存储,扩容方式支持在线增加磁盘大小、增加磁盘个数、增加副本数。在扩容开始前系统将进行资源预检,无论是否可以成功扩容,都不会影响原来业务运行,并且在扩容过程中可正常提供数据读写操作。

存储回收站,避免数据误删

删除 TDFS、TDDMS、KunDB 组件或所属实例时,数据不会直接被删除,可以选择放入回收站,从而避免用户误操作删除数据导致生产事故。支持展示租户回收站内的存储总量,并可按需一键清理并查询清理记录。

高性能网络,满足 TP 场景高性能需求

引入 Macvlan 高性能网络,业务可按需开启高性能网络,满足 KunDB 等对网络性能的要求。相较于开源 Macvlan 网络方案,TDC 的方案没有物理网段的限制,可以任意自定义第二块网卡使用的网段(包括物理网段,因此不需要申请额外申请固定的 IP 网段),并且能够自动的提供第二块网卡的服务发现,完整实现了底层 Kubernetes 的 Service 功能。

除此之外,TDC 的网络能力还做了如下改进:

【VIP】虚拟 IP 支持绑定二层网络下的节点集合(网络可用区),虚拟 IP 将在选择的可用区对应的网段中创建,从而可以做到外部流量不只是通过 master 节点进来,提高了集群处理外部流量的能力,也通过分散到不同节点提高了可用性。

【SLB】为组件配置 SLB 时可开启流量转发高性能网络,开启后访问配置对象的流量将会被转发至高性能网络上,提升访问性能。

联邦云网络统一管理,更便捷联通两地集群

通过统一的域名解析体系实现联邦云集群之间的网络连接与通信,打通底层多个集群之间的网络。应用场景有:统一管理分布式部署在不同集群上的数据库实例,分散读写请求流量,提高读写效率,同时支撑在多个数据中心之间星环产品(例如 KunDB )的数据安全通信需求。在传统跨机房通信中,是通过手工搭建的方式实现的,搭建过程比较繁琐,耗费人力和时间,联邦云实现了自动的跨集群通信,更加便捷。

开源生态对接,更好满足客户多样需求

实现开源 Spark 在 TDC 的上架和运行,并与星环科技大数据体系对接,以便更灵活满足客户使用场景以及支撑星环智能分析工具 Sophon:

支持在 TDC 上可视化部署 Spark,支持 HA 部署,支持通过运维入口查看历史任务,支持资源扩容和缩容。

支持对接星环科技大数据安全管理软件 Guardian,支持对接开启安全的星环分布式文件系统 TDFS。

GPU 分组,更灵活管理 GPU 资源

支持 GPU 分组,可以精细管理和调度 GPU 资源,不同工作负载或者租户在使用时,可以指定分组的 GPU 卡资源,实现资源分组和配额管理。

高可用增强,提升平台可靠性

针对客户对于高可用的更高要求,TDC 从操作系统层开始进行梳理,并通过严格的高可用测试,改进了 TCOS 和 TDC 云管平台,以及云产品星环科技大数据开发工具 TDS 和智能分析工具 Sophon 的高可用能力,可以实现单组件副本、硬盘故障、网络故障、控制单节点故障、工作多节点故障下,平台仍然可以正常对外服务。

同时,为了提升易用性,TDC 还新增了模块化安装功能,安装 TDC 时可按需选装所需系统服务,后续有需要时可通过 TDC 安装工具按需部署。目前可选装包括微服务引擎、DevOps、应用市场、数据市场模块。

除新增功能外,TDC 本次升级也对原有功能进行了优化和升级,其中包括:

【统一用户】TDC 各系统实现统一用户、登录和门户,同时兼容原有租户用户管理模式,提升用户登录体验。

【权限管控】增强 HDFS 权限管控,解决不同租户的同名用户权限不隔离的问题,实现多租户共享 TDFS 目录权限隔离,规范并实现上游组件在 TDFS/ Zookeeper/KunDB 创建不同路径,同时支持白名单机制,实现跨租户访问 TDFS 权限由 Guardian 严格控制。

截至目前,星环科技数据云平台 TDC 已经在数十家大型企业落地,覆盖多个行业。其中典型案例包括:为江苏农信建设的大数据 DAAS 应用平台,提升了江苏农信数据输出服务能力;为上海大数据中心建设了上海市数据共享交换平台,为一网通办、政府大屏、政务决策等政务应用提供支撑,有效提升政府部门办事效率;为中化中化信息大数据平台建设提供了一站式的大数据解决方案,充分整合和管理企业各个系统全生命周期数据,快速挖掘数据背后的价值,综合提升企业管理和运营能力。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )