近日，腾讯云小微及腾讯云TI-ONE联合团队在大型深层阅读理解任务数据集 RACE 数据集(ReAding Comprehension dataset collected from English Examinations)上登顶第一。据了解，在此次比赛中，腾讯云小微及腾讯云TI-ONE联合团队在基于ALBERT预训练模型上，取得了单模型90.7%和集成模型91.4%正确率的成绩。
采用全新训练策略，腾讯云小微及腾讯云TI-ONE联合团队展现AI实力
RACE 是一个来源于中学考试题目的大规模阅读理解数据集，包含了大约 28000 个文章以及近 100000 个问题。它的形式类似于英语考试中的阅读理解(选择题)，给定一篇文章，通过阅读并理解文章(Passage)，针对提出的问题(Question)从四个选项中选择正确的答案(Answers)。
据了解，深度阅读理解的难度在于，正确答案的文字并没有直接使用文章中的话术来回答，不能通过检索文章获取答案，而是要从语义层面深度理解文章来作答。想要提高阅读正确率，就需要机器模型通过分析文章中的线索并基于上下文推理，选出正确答案，这对参赛团队的算法技术提出了更高的要求。
因此，腾讯云小微团队通过全新的训练策略来实现突破。他们跳出从现有的四个选项中选出一个正确答案的固定模式，采用独立地考虑每一个答案是否合理的方式，同时利用多种其他形式的阅读理解数据进行迁移学习，大大提高了阅读理解的准确率，并在基于ALBERT预训练模型上，取得了单模型90.7%和集成模型91.4%正确率的成绩，赢得了本次比赛的冠军。
除此之外，在本次比赛上，腾讯云TI-ONE联合腾讯优图和机智团队在单机性能优化、分布式多机扩展和AutoML收敛优化方面也作出了诸多开创性贡献。
在单机性能方面，基于ALBERT的原生代码，TI-ONE引入了Nvidia的APEX的混合精度训练，并采用动态loss scaling进行正确的权重更新，保证最终模型的精度没有因为低精度训练而有所损失，最终，单卡性能提升为原来的3.6倍。
在多机扩展方面，由于PyTorch原生的DDP通信框架在公有云VPC网络扩展性不好，团队采用自研的TI-Horovod通信加速框架，利用2D-AllReduce和多流通信等技术，把多机训练ALBERT性能提升为原来的5.5倍。
另外，AutoML收敛方面，腾讯自研的TI-AutoML框架解决了模型集成困难和大规模长任务调参效果差的问题，便捷地与ALBERT模型集成，同时针对ALBERT模型pretrain和fine-tune两阶段训练的特点，采用了不同的自动调参策略，最后在腾讯云海量算力的加持下，调参效率相对人工调参提升了8倍，彻底把算法工程师从繁琐的手工调参中解放出来，让精力更多的聚焦在更有意义的模型算法创新工作上。
技术突破让AI应用日渐广泛，在多行业领域落地应用
深度阅读理解是目前AI领域中最受关注、进步最快的技术方向。如何提高机器深度阅读理解的正确率，是业内一直在关注和探索的问题。此次腾讯联合团队创新的训练策略，和在单机性能优化、分布式多机扩展和AutoML收敛优化等方面的技术提升，将给AI技术领域带来新的突破。
不止是在深度阅读理解领域有所突破，此次参赛的腾讯云小微团队专注于AI技术领域，在机器翻译、人机对话、阅读理解、自动摘要等领域内都有所研究，其相关技术多次获得业内的认可。在AIIA2020人工智能开发者大会上，腾讯云小微获得多项技术评测认证;在DSTC第八届对话系统技术挑战赛中，则获得四项第一;在CAIL2019司法人工智能挑战赛阅读理解第一名的好成绩。
当前，人工智能作为经济发展的新动力以及新一轮产业变革的核心驱动力，机器翻译、人机对话、阅读理解等AI技术正在教育、文旅、出行等多个领域内落地应用。在这种背景下，腾讯云小微团队凭借全栈AI语音能力，以及腾讯内外部丰富的内容和服务生态，为各行各业输出完整的AI解决方案，不断渗透智慧生活各个场景。据了解，目前已在智能网联汽车、智慧文旅、智慧教育、智能家居等多行业领域落地应用，服务广泛的用户群体。
（免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。 ）
