成就阿里技术的四个瞬间:去IOE、建飞天、中台、达摩院

在阿里巴巴20周年年会上,马云在近3000字的演讲中,21次提到“技术”,他提醒所有人:“这次技术革命是人类有史以来最深刻的变革。技术革命所带来的影响远远超越大家的想象。”他给出一个新的断言:“如果过去20年是互联网公司的20年,那么未来的30年是用好互联网技术的30年。”

这不是“不懂技术”的马云第一次大谈技术。

2009年,阿里巴巴在创立十年之际成立阿里云,当时很多巨头对云计算的未来不置可否,2010年一次公开活动上,李彦宏表示,云计算只不过是新瓶装旧酒,15年来没有新东西,马化腾则认为云计算要像水电一样用还为时尚早,马云当时表示:“云计算最后是一种分享,是数据的处理、存储跟分享的机制,我们对云计算充满信心、充满希望。”现在阿里云已经位居全球前三,亚太第一,参与全球云计算市场的争夺。

在2016年的云栖大会上,马云提出新零售的同时提出了新技术,他认为数据就是未来的石油,机器吃的不是电,而是数据。

或许正是因为马云“不懂技术”,才对新技术保持一种开放接纳的心态,正如他自己所言:“我最害怕的是老酒装新瓶的东西,你看不清他在玩什么,突然爆发出来最可怕。一个新的东西出来后,我们会认真思考一下、关注一下,可能会有一些新的问题。”

今天,阿里巴巴已从一家人们印象中的商业公司,成为一家极具技术气质的科技公司,在阿里20周年年会演讲中,马云说:“阿里巴巴现在已经变成了一家技术公司。”冰冻三尺非一日之寒,阿里成为一家技术公司是二十年如一日的技术坚持,数次攻坚克难,终于滴水穿石,阿里巴巴用二十年时间完成了一次技术的长征。

有着清晰的目标和沿着正确的路线努力,比努力本身更重要,在阿里的技术发展历史上,一共有四次关键技术抉择。

第一次是去IOE,第二次是飞天,第三次是中台,第四次是达摩院。

去IOE:用业务倒逼技术发展

2005年,淘宝市场份额超过ebay呈现出王者之气,然而阿里技术体系感受到越来越大的支撑压力。

在数据库体系上,淘宝最初用开源的LAMP架构(Linux+Apache+MySQL+PHP),据阿里中间件技术部资深专家沈洵后来回忆,2006年随着系统压力越来越大,LAMP已经无法满足业务的需要,阿里面对新的技术选择,选型了最成熟的商业数据库Oracle,逐步形成了 IBM+Oracle+EMC 的架构体系,这是当时大公司包括ebay们的普遍选择。

“IOE”架构相对封闭,容灾成本高、运维成本高、快速扩容难,不适合互联网企业长期发展。两年后,阿里工程师就发现IOE架构已无法承载高速发展的业务,他们碰到了商业系统的边界,环顾四周都找不到可以解决问题的商业系统。

业务不等人,阿里的工程师不得不再次选择,他们先是在一些非重要业务应用上使用自己研发的系统,再逐步应用到核心业务。到了 2010 年1 月,阿里巴巴集团正式启动去“IOE”计划,采取“用横向扩展替代纵向扩展、用开源代替商业软件”的路线,用PC Server、MySql开源数据库以及自主研发的系统来替代IOE结构。2013年5月17日,支付宝最后一台IBM小型机在下线,标志着阿里“去IOE”完成,这一过程仅仅历时三年。

阿里推行去IOE是业务考量,却有深远意义,企业高度依赖IOE设备,一方面极大地增加了IT成本;另一方面它会限制企业在数字经济时代的灵活性以及创新性。

2009年阿里云正式上线、淘宝商城(天猫前身)打响了双11第一枪,回头看这两件事很大程度决定了阿里今天的业务版图。

在阿里业务正高速发展时,去IOE就像是在“高速路上换轮子”,对阿里来说是一个艰难的抉择。阿里电商和金融业务对系统稳定性要求都很高,数据库出大问题后果不堪设想。在这种情况之下,一些公司可能还是会先“忍一忍”,寻求折中的办法。但阿里还是果断做出了第一次关键的技术选择,用业务倒逼技术发展,并把这一思路延续至今。

天猫双11是一个例子,用马云的话说,双11已是阿里生态的练兵场。随着交易额的连年攀升,天猫双11一次次考验和倒逼阿里技术。2018 年天猫双11 交易额突破2135 亿,不论是淘宝、天猫还是支付宝,都没出问题,阿里的技术能力与十年前已是云泥之别。

很长一段时间,阿里技术都不是“研究院”型,即先储备大量的技术再找场景,阿里采取用业务倒逼技术发展的思路,只要业务高速发展,技术就会日益精进,反过来再驱动业务增长,形成一个正循环。阿里比谁都明白:不能落地到业务场景,不能解决实际问题的技术没有任何价值。

建飞天:自主研发而不是用开源

互联网的基础计算架构不只是数据库体系,还有操作系统,跟去IOE平行推进的,是自建系统。

在阿里云正式推出前,阿里就决定要自主研发大规模分布式计算操作系统“飞天”,2009年春节后,阿里工程师敲下了飞天系统的第一行代码。

飞天不是一款基于开源系统定制的系统,而是从0到1自主研发的国产云计算系统,阿里大可不必这么做,因为市面上有开源云平台可选。

不过,为了确保对每一行代码有控制力,可以随时随地无间断升级且实现水平扩展,阿里云还是选择了更难的技术路线,自主研发。阿里云技术研发负责人蒋江伟后来曾对媒体复盘说:“如果不是自主研发,我们根本无法应对双11 32.5万笔/秒的交易创建峰值。”

云端操作系统是一个宏大的工程,阿里自研充满坎坷。不论是阿里云还是飞天,最初都没有客户敢用,在公司内部也充满争议,甚至有很多人称“阿里云之父”王坚是骗子,叫马云不要听他的。不过,马云依然坚定支持阿里云。

马云决定让阿里金融(蚂蚁金服前身)成为阿里云的第一个客户,帮助阿里云试错与成长,2010年4月阿里金融“牧羊犬”产品在飞天系统上线。

经历长达三年的技术攻关、数次推倒重来,飞天和阿里云终于迎来大成。2013年,阿里云发布飞天5K集群,成为全球首家调动服务器集群超过5000台的云计算厂商;2017年,飞天已经可以将遍布全球的百万级服务器连成一台超级计算机。

飞天成为阿里云的技术基石,正是因为打好了技术的“底子”,阿里云才可以一骑绝尘。Gartner的报告显示,阿里云已经连续两年稳居亚太市场第一。基于飞天,阿里云可以给客户提供全球领先的计算能力,在向数据中心、智能平台延展时游刃有余。

建飞天与去IOE进程几乎平行,去IOE成就了阿里云,阿里云也成为中国企业去IOE的推手。在去IOE的过程中,阿里巴巴采取的是开源和自研两条腿走路,核心技术自研是阿里的技术选择。

飞天已成为阿里自主研发核心技术的品牌,成为很多场云栖大会的主题。在飞天操作系统外,飞天大数据平台,也成为中国唯一自主研发的大数据计算引擎,单一引擎可将10万台服务器合为一体,是全球集群规模最大的计算平台。

大中台:用技术拓展商业边界

2015年,马云带领阿里技术团队参观了成功打造《部落冲突》、《卡通农场》、《海岛奇兵》和《皇室战争》等经典款游戏的 Supercell。Supercell 将游戏开发过程中公共和通用的游戏素材和算法整合起来,为小团队提供工作的工具和框架,从而支持好几个小团队能够在短时间内开发出一款新的游戏,并鼓励员工充分试错,这家创造了年税前利润15亿美元的公司,只有不到200名员工。

受到这一模式的启发,半年后,阿里进行新一轮组织架构升级,全面启动中台战略,组建“大中台,小前台”的组织机制和业务体制。

中台战略被阿里移植到企业管理中,中台将提炼各个业务条线的共同需求,整合集团的运营数据能力、产品技术能力,打造成组件化产品,以接口的形式提供给前台各业务部门使用;前台负责业务创新,“听得到炮火的人”要灵活敏捷、不断试错、聚焦业务,快速适应瞬息万变的市场;后台则给中台和前台提供生产资料,如数据、计算、标准。

中台连接前台和后台,基于后台基础资源包装、整合和供给资源,助力前台创新,中台战略涵盖管理机制、组织机制、业务机制和技术机制。在技术层面阿里云将“双中台”作为四张王牌之一,“数据中台”和“业务中台”让阿里巴巴经济体生态中的业务互联互通,双中台给业务前台提供创新的技术、数据、计算支持,业务端可以对后台的数据进行深度充分挖掘,基于数据智能创新业务。

阿里的中台不只是让阿里生态业务可以不断创新和实现数据智能,还基于阿里云开放实现了技术普惠,波司登等企业均通过阿里云中台实现了数据智能,波士登库存中心智能补货系统有效减少缺货损失21%,售罄率同比增长10%。

拥抱“中台战略”,是阿里技术的一次关键抉择。“云”让计算变得弹性和更加经济,但阿里已不满足于只是提供基础计算能力,而是要让技术驱动创新和实现数据智能,正如在启动中台战略时张勇所说的那样:符合DT(数据技术)时代的更创新灵活的机制。“中台”让技术可以成为创新的驱动,让前端业务创新没有后顾之忧,让数据智能成为现实。

阿里启动中台战略三年后,2018年开始,腾讯、百度、滴滴、京东、美团等大小巨头调整组织架构都提出了建设“中台”的目标。巨头们的选择,再一次证明了阿里技术抉择的前瞻性。

达摩院:探索基础和颠覆性技术

2017年,三年投资千亿,成立达摩院是阿里技术路线的一次关键转变。

在达摩院前,阿里一直都是用业务倒逼技术,“去IOE”是适应快速增长的业务,“建飞天”是阿里云的战略抉择,“大中台”则是倒逼DT时代业务创新的需要。一直以来,阿里都不是像一些“研究院”型公司先投入巨资研发技术再找场景。

2017年阿里再次作出新的抉择,先是启动“NASA计划”,接着再与浙大共建“之江实验室”研究基础技术,酝酿一段时间后,在2017年10月的云栖大会上,阿里巴巴CTO张建锋(行癫)宣布了阿里的达摩院,也是马云当年在云栖大会演讲的主题。

达摩院旨在招揽全球顶尖科研人才进行量子计算、人工智能、网络安全、芯片技术、传感器技术等底层信息技术研发,其在全球不同地区设立实验室或联合实验室,启动多个前沿创新计划,计划在三年内投入启动资金1000亿元人民币,马云当时希望达摩院必须要面向未来,解决人类未来的问题;要服务全世界至少20亿人口、解决1亿的就业机会、创造1000万个盈利企业,立足高远。

这表明阿里开始从技术应用转向做基础和颠覆性技术的探索,顶尖的科学家和工程师都在成为阿里技术的中坚力量。

直接原因在于阿里到了新的发展阶段。

张建锋在发布达摩院时指出,科学是发现规律、技术是利用规律、工程则是实现规律,阿里巴巴第一阶段做的事情是围绕已有规律来实现,利用成熟技术,然而在这个过程中阿里巴巴对于发现和利用规律的需求日盛,比如双11就是全球互联网行业独一无二的商业场景,成熟技术很难支撑;再比如阿里云已很难通过采购成熟商业产品来满足计算需求,因此,阿里巴巴必须在操作系统、数据库甚至芯片、物联网等底层进行布局,达摩院的建立,有利于阿里巴巴形成更强的底层技术实力。

科技公司的本质是通过新技术来解决商业世界的问题,发明一个新产品解决了问题,但不能因此而止步不前,因为会有新技术、产品和模式更好地解决问题。因此,科技公司一直都要源源不断地在技术上投入,创造新产品,更好地解决问题。阿里在前沿基础技术投入上一跃走在世界前面。

探索基础和颠覆性技术,长期来看则是阿里的技术情怀。阿里一直强调技术普惠,不论是做云计算、做蚂蚁金服、去IOE、成立芯片公司平头哥,都不只是希望“只有自己好”,而是要让技术惠及到更多人,一方面是通过在阿里商业生态落地、驱动“前台”创新,实现数据智能;另一方面则是开放给更多中小企业。

在20周年年会的演讲中,马云再次提到“普惠”,他说:“无论是人工智能还是大数据,还是快进入的5G、IoT时代,所有这些都希望解决人类三个问题:可持续发展、普惠和利他。这个世界如果做不到可持续发展,这个世界做不到普惠,技术普惠、金融普惠、机遇普惠,不能做到让别人更好,那世界将变得越来越乱。如果技术不能解决这些问题,技术就毫无意义。”

提出阿里不是要做一家大公司或者强公司,而是要做好公司的马云认为:

“技术的强大在于它给社会带来的价值,给人类带来的温暖。阿里云、达摩院,阿里巴巴所有的技术部门、技术人员,用自己的能力、想象力给世界带来机会,技术必须向善。”

20年后,阿里不是当年那个只会用现成技术来支撑业务的商业公司。阿里用快速发展的业务倒逼着阿里技术的日益精进,在去IOE和发展云计算的过程中,开始有意地自主研发核心技术。

在掌握足够强大的领先技术后,阿里率先通过“中台”战略让技术转化到业务创新和数据智能中,实现技术的普惠。当实力强大,资金充沛,场景丰富后,阿里终于决定不再只为业务而研发技术,而是让技术与业务并跑,技术不再因前台业务而存在,它有了自己的使命。

复盘阿里技术演进路线不难发现,四个关键抉择每一个都处于阿里20年进程的关键节点,每一次技术抉择又影响了阿里后续的发展速度、战略落地和想象空间。四次正确的技术战略选择,成就了今天的技术地位。

人们会问:为什么四次关键技术路线,阿里每一次都可以选择正确?阿里在移动互联网、人工智能诸多关键节点都作出了对的战略抉择,用马云的话说是小错不断、大错不犯,在我看来原因在于阿里有多年来坚守的价值观和企业文化。技术文化和价值观,是阿里文化和价值观的一部分。

“不忘初心,方得始终”,阿里的四次关键技术抉择是这八个字的生动诠释。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2019-09-24
成就阿里技术的四个瞬间:去IOE、建飞天、中台、达摩院
在阿里巴巴20周年年会上,马云在近3000字的演讲中,21次提到“技术”,他提醒所有人:“这次技术革命是人类有史以来最深刻的变革。技术革命所带来的影响远远超越大家的想象。”他给出一个新的断言:“如果过去20年是互联网公司的20年,那么未来的30年是用好互联网技术的30年。

长按扫码 阅读全文