AI时代“第四代计算模式”,云器科技定义“通用增量计算”

千亿级实时数据处理的的技术挑战是数据量每翻一倍,延迟和成本就会指数级飙升。传统数据底座架构面临“不可能三角”——“既要保证实时又要控成本还要寻求高性能”三者无法兼得,业界的共识是,传统的计算系统引擎没办法平衡三者关系:流计算,虽然延迟低,但资源消耗巨大;批处理,成本可控,但时效性差。无数技术团队只能在实时性与控成本之间被迫二选一,最终限制了商业决策的效率,导致商业机会的流失。AI时代的计算架构亟需一场变革,云器科技首提“通用增量计算”在业内引起广泛关注,这一创新技术路径正在打破传统架构束缚,成为数据与AI基础设施革命的破局者。

技术破壁者:首创“通用增量计算”落地

2025年,“通用增量计算”(Generic Incremental Compute,简称GIC)概念被云器科技提出,“通用增量计算”技术白皮书同步公开,这标志着一个全新计算时代的开启——第四代计算模式,从谷歌提出分布式数据平台,到以Teradata为代表的大数据软件时代,再到云上数据平台,及到第四代一体化架构(Kappa架构),“通用增量计算”成为关键触发点。

在云器科技发布的GIC通用增量计算白皮书中,特别提出了S.P.O.T.四大技术标准——SQL全兼容、性能提升、开放式数据湖、秒级弹性。S:Standard SQL语法,支持标准SQL,降低学习成本,让数据工程师能够快速上手,无需掌握复杂的流计算API;P:Performance性能提升:相比传统开源架构如Spark,性能提升可达10倍,通过增量计算避免冗余处理,大幅提升计算效率;O:Open Format开放数据格式,基于Apache Iceberg等开放数据湖格式,避免厂商绑定,支持多种存储引擎;T:Trade-Off灵活成本平衡。企业可以不用再为批处理和流计算建立两套数据链路,而是一条链路,并可以在1分钟到数小时之间调节数据刷新周期,这意味着,企业可以根据业务需求在数据新鲜度和计算成本之间找到最佳平衡点。

突破数据计算原理:大幅简化企业数据架构

“通用增量计算”采用了全新的数据计算原理,当上游数据发生变化时,系统只计算变化的部分,而后与历史结果合并,快速生成最新结果。这种“增量更新”模式避免了流计算的持续资源消耗,同时将延迟压缩到分钟级,具体来说,增量计算采用“基于历史T0已经计算完成的结果,叠加历史到当下T1的计算,再为未来下一步T2计算做准备”的模式。这种设计让数据高效处理的效果得以显现,首先,避免重复计算,区别于批处理技术的每次全量重算,而是只处理新增或变更的数据部分;其次,降低资源占用,区别于流计算的长期驻留资源,通用增量计算可以按需启动计算任务;再次,能够保证数据一致性,通过统一的计算引擎处理增量的更新,避免了Lambda架构的双链路一致性不足,也同时避免了流处理模式丢失延迟数据的问题。

云器科技是新一代计算模型“通用增量计算”(GIC)范式的原创缔造者和定义提出者。2021年成立之初,这家位于杭州的国家高新技术企业就将攻克“千亿级实时数据处理”和“不可能三角”作为核心使命。经公开信息发现,云器科技核心成员来自阿里云、字节跳动、微软、Oracle等明星企业,技术研发人员占比超过80%。援引公开报道,云器科技入选了工信部信通院“大数据星河奖”优秀企业,同时进入了Gartner和IDC权威榜单。2023年,云器科技在行业内首次提出“增量计算”,并发布了云器Lakehouse产品,同步宣发了长安汽车、销售易等头部企业使用云器Lakehouse的重磅案例,期间与多个种子客户进行持续打磨,头部互联网大厂小红书发布了使用云器科技技术的实践成果,实现了千亿日志的“分钟级实验自由”,印证了云器科技在技术落地方面的成熟度,据了解,云器科技在亚太地区已开服多地,实现了技术攻坚、生态开放共建和商业化落地。

(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

赞助商
2025-06-20
AI时代“第四代计算模式”,云器科技定义“通用增量计算”
千亿级实时数据处理的的技术挑战是数据量每翻一倍,延迟和成本就会指数级飙升。

长按扫码 阅读全文