前方高能:
算力弹性资源池已达500万核
每日分析任务数已达1500万
每日实时计算次数已超过65万亿
日接入消息量超过55万亿
上面这一个个数据,足以让一个大数据从业者肾上腺素飙升。能够产生、并有能力处理如此海量数据的,自然就是腾讯这样大型的互联网公司。
从“几百个节点”,到65万亿次日实时计算,中间经历了四代大数据平台演进,才达成了今天的成就。
没有哪家公司能够像腾讯大数据这样,经历如此快速的爆炸式数据增长。
没有什么比数据安全更重要
随着信息技术的快速发展和个性化服务的不断演进,数字化企业在服务用户过程中积累了海量数据。
隐私信息保护短板效应、隐私侵犯追踪溯源难等问题越来越严重,致使现有的隐私保护方案不能提供体系化的保护,大大小小的隐私泄露案例层出不穷。
国内大数据行业知名上市企业数据堂,涉嫌侵犯数百亿条公民个人信息,累计传输数据压缩后约为4000GB左右!
洞察需求 不断升级的平台
而在企业,伴随着云和大数据的发展,内部也产生了诸多数据。如果要想发挥数据的价值,涉及到数据存、管、用、备份、安全、智能分析等等环节,尤其是当跨云、跨公司、跨行业进行数据挖掘时,隐私了最重要的问题。
这个悖论就是,谁都想发挥数据的价值,谁又不想丧失数据的主权,并且掌握数据的隐私问题。
这就是业内一直寻求的平衡问题。
而腾讯大数据平台一直以用户需求为导向,结合业内的技术趋势,不断升级新产品,成为业内的领导者之一。早在2009年,第一代平台以离线计算为主要模式化;2012年,平台进入以实时计算为特色的第二代,以Spark/Storm为代表的实时计算处理框架为代表;2015年,腾讯大数据进入第三代,从0到1自研了机器学习框架Angel,意味着整体大数据平台进入机器学习时代。
面对如今数据隐私、数据安全的挑战,腾讯大数据从两个方面入手,给出了自己的解决之道。
首先是在理论层面,腾讯发布《腾讯隐私计算白皮书2021》,希望与业界共同探讨、推动隐私计算技术产业的发展,寻求在数字治理中发展和安全的平衡点。
接着在落地层面,在4月18日召开的“腾讯大数据高峰论坛”上,腾讯正式发布自研第四代数智融合计算平台“腾讯大数据-天工”,进一步应对业内难题和挑战。
“腾讯大数据-天工”是什么来头?
“腾讯大数据-天工”平台,是在最新的“数据协同、技术互通、平台大脑”技术理念基础上诞生的,为的是解决以下三个问题:
首先,就是我们上面提到的隐私计算,核心产品是Angel PowerFL安全联合计算平台。
该平台采用自研隐私计算技术,从机器学习到大数据分析为各个场景提供全方位保护,去中心化的架构则能避免单点隐私泄露风险。将数据安全作为开山大炮,打破数据孤岛实现数据协同。
目前Angel PowerFL可以支持千亿级规模的海量数据训练,性能参数领先业界5倍!在此基础上,提供3072bit业界最高强度加密和TEE硬件双保险,最大限度确保数据安全。
这里面不得不提到几个技术名词:隐私计算和联邦学习。这是近年来业内面向数据隐私而诞生的新技术,用技术的方式实现了数据安全但又达到了数据共享和使用的目的。腾讯早在几年前开始研究该技术,并做到业内领先。
其次,“腾讯大数据-天工”的平台大脑实现万亿级数据分析的“自动驾驶”,从离线计算、实时计算,机器学习,到大数据智能化,四代大数据平台正在一步一步的,向着实现万亿级数据分析的“自动驾驶”迈进。
如今,从快速发现大数据运行问题到主动发现问题,再到主动解决问题,平台大脑预计可让数据中心研发效率提升60%,运营效率提升50%,平台服务质量提升80%。
最后,则是实现大数据和人工智能的融合。大数据和人工智能技术在本质上,有很多相通之处。“腾讯大数据-天工”通过解决大数据和人工智能计算框架的统一,从而更好地适配CPU、GPU、NPU、FPGA等硬件。
数和智一旦能够融为一体,那就真的是广阔天地大有作为了。
最终,在确保数据安全的前提下,真正实现万亿级数据分析无人“自动驾驶”,进而推动大数据和人工智能技术融合为一,引领全球大数据计算进入下一时代。
推动产业数字化转型
腾讯数据平台部总经理蒋杰提到,通过“腾讯大数据-天工”的隐私计算,可以解决现在数据融合过程中的一些不可控的风险。
蒋杰还提到,希望把腾讯看做是一个开放的、去中心化的、撮合的平台,并且也希望和业态共同推进隐私计算等新技术的发展和落地,共同帮助企业利用好数据。“让我们从技术层面来实现跨平台、跨行业的隐私的界定和使用,具有一定的实操性,比如打击黑五类等,使得打造一个可信的数据流通的基础设施生态,成为可能。”
中国信息通讯研究院云计算大数据研究所副所长魏凯认为,隐私计算将使得跨层级、跨地域、跨系统、跨部门、跨业务的协同管理和服务的实现,成为可能。
比如,某大型金融服务机构通过Angel PowerFL进行联邦建模,提升金融风控效果;某广告平台通过Angel PowerFL进行联邦推荐模型建模,提升精准推荐效果。由此可见,在政府、金融、消费领域对隐私计算的需求旺盛,希望借助腾讯大数据平台的技术推进业务发展,提高竞争力。
腾讯第四代数智融合计算平台“腾讯大数据-天工”无疑将持续引领全球大数据计算走上安全、统一、智能的新征程。后续也将发布更多新的产品和解决方案,不断将大数据领域做深、做宽,进一步帮助客户数字化转型。
免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。