阿里总部对外解密双11超级工程背后的数据库技术

2018年1月19日，阿里巴巴数据库事业部联合技术战略部在阿里西溪园区总部，也是双11技术的发源地，举办了一场线下《双11数据库技术峰会》，超过100名企业CTO、CIO和数据架构师到场参加，现场座无虚席。

阿里巴巴集团数据库技术总负责人、阿里研究员张瑞做了开场分享。张瑞2005年加入阿里，前两天刚刚满13周年，亲历了阿里整个数据库技术的变迁和发展。数据库理论在上世纪70年代被提出，Oracle抓住了机会，推出了基于磁盘设计的数据库。后来，Flash技术成熟、PC上CPU能力增强，在这两个背后推手下，阿里完成了去IOE的数据库架构升级。随着互联网技术快速发展，分布式大数据也开始冲击着传统的关系型数据库。一直以来，双11是阿里技术的助推剂，阿里通过分布式数据库中间件扩展已经能较好地支持双十一活动，这个背景下，从2016年阿里巴巴开始思考需要的下一代的数据库到底是什么？一个是已经成熟的分布式架构，一个是今天与云结合的很紧密的存储计算分离技术。双11极端的压力下还要优化成本，希望用原来1/10的成本把性能再提升10倍，今天新的硬件也在快速发展，包括内存、FPGA、更高效的网络等等。站在当下看未来，数据库现在又到了技术的最前沿，各种技术百花齐放。最后，张瑞表示，希望和在座的各位一起来探索未来十年数据库的改变与突破。

阿里资深专家佳毅带来双11黑科技分享《数据库优化之路》。他提到，双11数据库面临三大挑战：数据强一致的问题、性能问题、成本问题。今年使用阿里新一代数据库X-DB来应对这些挑战。X-DB底层使用自研高性能Paxos基础组件X-Paxos，借此解决数据强一致的问题。对于性能和成本，底层使用Batching 和Pipelining技术来大大提升数据库的事务处理能力。同时佳毅也分享了通过ESDB、X-KV等技术解决各种复杂的性能问题，通过容器化与存储计算分离让数据库做到极致弹性，最后佳毅分享了阿里巴巴正在通过CloudDBA产品大大降低DBA服务人力成本的问题。

玄惭是云上的数据库性能优化高级专家，同时也是历年双十一RDS的技术保障负责人，他的分享是《云数据库RDS双11最佳实践》。当使用云上的RDS需要支撑类似双11这样的大型活动的时候，玄惭分享了如何从参数优化、链路访问、性能优化、弹性扩容、架构设计，这五个方面去优化数据库，应对高并发的访问。

IoT是当前最热门的技术趋势之一，大量IoT设备产生的时序数据该如何存储？在接下来阿里时序数据库高级专家悠你的分享中，以一个典型的工业IoT案例-风电场为案例，介绍了如何使用云端的高性能时序数据库HiTSDB来存储大量的时序数据存储。同时介绍了HiTSDB在时序数据处理上的主要优势，包括聚合查询、实时响应、海量数据存储等方面的优秀技术成果。

下午的第一场由阿里资深专家斗佛带来《企业数据安全管理最佳实践》。一直以来，由于数据访问的随意，给企业数据带来非常大的泄露风险，甚至也出现过很多次企业的CEO或者CIO为此而被迫辞职的情况发生。硬件损坏、软件bug、内部数据泄露等等都是企业数据安全的挑战。斗佛介绍了阿里巴巴数据安全解决方案如何解决这些问题。同时他透露，对应的阿里云上即将商业化的“数据管理DMS企业版”将把阿里内部的经验赋能给所有云上的用户。

从08年开始，阿里巴巴内部就开始了分库分表技术的探索，10年来，在内部沉淀的分库分表数据库中间件产品叫TDDL，对应的在云上的产品为DRDS。这一次，阿里分布式数据库技术专家梦实给大家带来了全新一代的DRDS引擎，带了数倍的性能提升、更复杂的SQL能力、更具可读性的优化器执行计划等。他还透漏了一个重磅消息，新一代引擎将很快发布，并且在今年会对外完全开源。

阿里OLAP数据库高级专家知数在《分析型数据库AnalyticDB2.0双11实践》中为大家介绍了如何使用实时分析型数据库ADS来解决一些在线OLAP型业务问题。比较典型的场景包括营销管理、推荐、预测、安全风控等。知数以阿里双11内部多个场景为案例，展示ADS在这些业务上的表现。

随着DT时代的到来，企业占有的数据越来越多，其规模可能达到上百TB甚至PB级，如何以合理的成本管理并维护这样一个数据库也成为各个企业IT管理中的核心问题。阿里云数据库高级专家南仙的分享《云数据库HybridDB HTAP技术实践》介绍了如何通过阿里云数据库团队自研的新型HTAP数据库，同时支持OLTP和OLAP场景，它基于创新的计算存储框架，在一份数据上保证事务的同时支持实时分析，省去了费时的ETL过程。

随着企业业务的发展，内部的数据流动会变成一个很大的挑战。阿里数据库架构师西壁带来的《数据实时同步解决方案》介绍双11数据突增时，如何解决阿里内部的数据流动，具体的场景包括异地多活、媒体大屏、缓存更新、实时消息、新零售混合云等。如果是阿里云上的用户，则可以通过数据传输服务DTS来解决类似场景的问题。

在最后的圆桌会议环节，多位阿里数据库技术专家畅谈了自己对双11技术、异地多活、分布式数据库、分库分表技术等的展望，同时也回答多个参会者相关的问题。从全国多个城市赶来的参会嘉宾表示不虚此行，直言这是近几年听到最纯正的技术型会议。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。