原标题:砥砺再出发,MindSpore开源一周年后的项目新思考
文|智能相对论(aixdlun)
作者|曾响铃
2020年3月28日,华为开发者大会上宣布全场景AI计算框架MindSpore正式开源,并将致力于构筑面向全球的开源社区,持续推动AI软硬件应用开源生态发展。
自开源以来,MindSpore获得了开发者的广泛关注。在短短的时间里,不仅获得了顶级学术会议MICRO 2020的最佳论文提名,其社区还拥有超过3000个贡献者、提交超过21000个PR、全球五大洲近20万用户安装使用MindSpore社区版本。
目前,在开源领域最具权威性的榜单GitHub Trending Repositories中,MindSpore也多次登上了C++的日榜、周榜和月榜,这无疑是开发者对MindSpore项目热忱与认可的体现。
2021年3月28日—29日,即MindSpore开源一周年之际,社区在线上进行全球直播,还邀请到AI大咖进行分享,同时,也预告了MindSpore新特性、TinyMS工具,那么在这次直播大会中,究竟有哪些吸睛的“亮点”?
一、 立足于技术、经验、开发者,活动成功描绘美好蓝图
首先,作为AI计算框架MindSpore开源的周年庆典,自然免不了技术上的共襄盛举。
比如一键模型迁移、模型鲁棒性检测等,这些版本新特性无论是在效率提升、易用性,还是创新方面,都较之前有了显著提升。
其次,此次活动不仅吸引了更多的开发者,还成功做到助力开发者共同成长。
MindSpore新特性着重提升了易用性,降低AI开发者的开发门槛,持续践行普惠AI。同时在此次活动的“开发者分享”环节中,参与的开发者可以在轻松的氛围下进行面对面的思想交流和碰撞。
最后,大咖和专家们亮相此次活动,更是为一众开发者奉上一场技术和思想的饕餮盛宴。
国内、欧洲与北美的专家都分别在各自的专场中发表了专业性的演讲。除此之外,活动还特意设置了“开源大咖说”与“AI大咖说”两个环节,为与会者构建了良好的学术氛围。
作为MindSpore开源周年庆典,重点当然是MindSpore新特性与TinyMS工具,那么相较之前,这次的变化又将为开发者们带来哪些惊喜?
二、 加速产品迭代升级,MindSpore推动AI计算框架新发展
此次推出的MindSpore版本新特性中,在多个方面都焕然一新:
.效率上,基于昇腾计算平台,Mindspore- MindData算子API提供DVPP支持,提供统一API,加速网络推理数据预处理效率。
.创新上,拓展SPONGE的各种特色模块,使其能够描述大部分微观体系并同时具有较高的计算和采样效率。
.易用上,MindConverter帮助算法工程师将存量的基于三方框架开发的模型快速迁移至MindSpore生态。
.可靠上,MindArmour基于黑白盒对抗样本、自然扰动等技术提供高效的鲁棒性评测方案。
另外,此次发布的TinyMS工具同样提升了开发者对已有框架的使用体验。
近些年随着AI技术的蓬勃发展,业界不断涌现出很多优秀的深度学习框架。但由于AI技术的门槛较高,导致原生框架的API并不能满足所有用户/开发者的需求,这也使得业界出现了许多针对AI框架而定制开发的高阶API项目。
TinyMS就是其中一员,其架构目标就囊括了极简易学的高阶API,支持从数据准备到模型训练/推理到最终部署的全流程,模块间解耦、易于扩展,可以应用在终端(如手机)、边缘、云数据中心等全场景的低运行时开销支持,以及模型训练脚本的格式标准化和规范化。简单来说,TinyMS能够在面向全场景的开发和部署中,给予开发者更好的使用体验。
为了达到让开发者通过TinyMS快速入门深度学习的目的,除了提供详尽的文字教程外(https://tinyms.readthedocs.io/),在B站也提供了全套的视频教程指导(https://www.bilibili.com/video/BV1MB4y1P79S)
总的来说,MindSpore的版本新特性和TinyMS工具,分别在效率提升、易用性、创新以及使用体验方面都将成功推动AI计算框架新发展。当然“第一枪”打响后,就是全方位的比拼了,而MindSpore能否“更上一层楼”?
三、 高位谋划、群策群力,MindSpore能否“更上一层楼”?
目前,AI计算框架成全球科技巨头“兵家必争”。国外的谷歌、亚马逊、Facebook等巨头已经培育了TensorFlow、MXnet、PyTorch等知名度较高的方案,国内百度、阿里等也已推出了PaddlePaddle、X-DeepLearning等AI计算框架。
通过本次周年直播可以发现,MindSpore毫不逊色。
一方面,从运营的角度来看,在短短一年的时间里,MindSpore已经为广大开发者提供了18个实用特性。
每次版本迭代,MindSpore都会发布视频,从不同的角度介绍新版本特性,视频总播放量超30万;此外,MindSpore还与AI媒体合作联合开展『轻松上手MindSpore』系列直播,收获了超3万的播放量。
经过一年的打磨,MindSpore不仅成熟度逐渐提高,保障了项目的质量,还为开发者提供了一个良好、活跃的开源平台。在开源中国对码云1000多万个代码仓的统计后发现,MindSpore的社区开发活跃度均在97分以上,总得分高达99,位列第一。
另一方面,在产品性能上,MindSpore也走在行业前列。
举个例子,在深度学习中,随着数据集和参数量的规模越来越大,训练所需的时间和硬件资源会随之增加,最后会变成制约训练的瓶颈,效率问题一直困扰着深度学习框架。
因此分布式并行训练是当前各厂商竞争的一个焦点。分布式并行训练,可以降低对内存、计算性能等硬件的需求,是进行训练的重要优化手段。
版本新特性中介绍到MindSpore动态图模式下已经支持数据并行,通过对数据按batch维度进行切分,将数据分配到各个计算单元中进行模型训练,从而缩短训练时间。
基于ResNet50 v1.5+ImageNet数据集测试,在昇腾计算硬件平台,MindSpore动态图模式分布式的表现,可以达到PyTorch典型分布式场景的1.6倍,静态图模式分布式的表现也可以达到TensorFlow典型分布式场景的2倍。
MindSpore之所以能做到这一点,主要得益于众多企业和开发者在社区的贡献。
总而言之,这次周年庆推出的版本新特性都使得MindSpore能在千行百业更多场景中具备更强的适用性,而群策群力、集思广益的传统,未来也将继续延续。
不止是周年庆展现的这些惊喜,更令人期待的是,作为华为ICT基础设施业务面向全球开发者的年度盛会,华为开发者大会2021(Cloud)将于2021年4月24日-26日在深圳大学城举行。届时,不仅将有超大规模参数模型、可解释AI、MindSpore IoT支持等更加前卫的特性,还汇聚业界大咖、华为科学家、顶级技术专家和众多开发者,共同探讨和分享最新的ICT技术在行业的深度创新和应用。
阅读原文:https://bbs.huaweicloud.com/forum/thread-116746-1-1.html
*本文图片均来源于网络
免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。