作为战略新兴产业,人工智能已经开始广泛应用于多个领域。今年,华为云便围绕自动驾驶技术携手上海交通大学创新中心举办了华为云人工智能大赛·无人车挑战杯(以下简称无人车挑战杯大赛),针对参赛者的在无人车检测算法方面的开发难点,华为云为选手提供了面向开发者的华为云全流程模型生产服务——ModelArts,不仅可以辅助开发者完成数据准备、算法开发、模型训练、调参优化、模型部署以及AI开发全流程管理等,极大地提升了参赛者的开发效率。
01 数据准备
算法开发往往需要用到大量的训练数据。
ModelArts支持计算机视觉、自然语言处理、音视频等多种AI场景的数据标注,同时提供丰富的标注图形,包括矩形、多边形、圆形、点、直线、虚线等。通过预置算法和用户自定义算法可实现数据的自动标注,然后人工进行仅需少量的手工修正即可。如下图所示,标注人员可通过简单标识后,由工具自动化标识准确信息,如轮廓信息,在特定场景下可提升手工标注效率10倍,大大提升数据准备的效率。
针对无人车检测算法开发的数据准备环节,参赛者首先可以使用无人车上的华为云HiLens Kit摄像头来采集交通灯、泊车位图片数据;然后将采集好的数据上传至OBS桶中,并在ModelArts物体检测标注作业;接下来进行少量的人工标注后,可以启动智能标注;待智能标注完成后再进行人工确认标注结果,即完成了数据的准备工作。
02 算法开发
ModelArts集成了所有主流的AI算法框架,包括TensorFlow、PyTorch、MXNet、Caffe等,同时提供友好的算法开发和调测环境Jupyter Notebook,基于以上,AI开发门槛得以降低,过程得以简化。
由于本次大赛无人车检测算法需要在昇腾310芯片运行,因此参赛者需基于Caffe框架来开发交通灯、泊车位的检测算法。为了让参赛者快速熟悉ModelArts、熟悉基于Caffe框架的开发,比赛官方提供了基于Caffe使用SSD算法开发的端到端的基础示例代码。参赛者可准备好数据后,直接在示例代码基础上进行算法的优化,这也大大降低了参赛者的开发门槛。
ModelArts还内置了多种预置算法,可以帮助开发者快速生成模型。通常,深度学习领域需要大规模的加速计算,这需要大规模GPU集群进行分布式加速。而现有的开源框架需要开发者编写大量代码实现在不同硬件上的分布式训练,而不同框架的加速代码又都不相同。为了解决这些痛点,需要一种轻型的分布式框架或SDK。ModelArts的MoXing构建于TensorFlow、MXNet等框架之上,使得这些计算引擎分布式性能更高、易用性更好。
03 模型训练
加速模型训练、简化调参难度对于用户来说是尤为重要的。ModelArts通过级联式混合并行技术等各类优化技术,在同样的模型、数据集和同等硬件资源情况下,使得模型训练耗时降低一半,尤其是大规模集群训练线性加速比达0.8。同时,ModelArts通过模型自动搜索、迁移学习、模型自动选择、超参自动化等协同优化来实现训练自动化。在深度学习模型训练方面,ModelArts将分布式加速层、自动化算法层抽象出来,形成一套通用的框架——MoXing,在自动混合精度训练、动态超参调整基数、模型梯度自动融合拆分等方面都进行了优化。
在硬件资源方面,ModelArts提供了公共资源池、专属资源池,CPU、GPU(1*P100、1*P4、8*P100、8*V100等)多种实例规格。丰富的、大规模计算资源可满足用户各种训练作业需求。
可以说,无论是在算法优化上,还是在硬件资源上,ModelArts都大大帮助了参赛者快速地开发出无人车检测算法。
04 模型部署
ModelArts不仅支持云上在线推理、批量推理,还支持将模型部署到边缘侧和端侧,满足大并发和分布式等多种场景需求。而本次大赛参赛者就是先在ModelArts平台上开发的无人车检测算法,然后部署到HiLens Kit智能摄像头上。
05 AI开发全流程管理
借助ModelArts AI可视化全流程管理工具,参赛者可轻松管理交通灯和泊车位的数据集版本、训练版本、模型版本,进而提高模型优化的效率。
ModelArts支持数据集、训练、模型版本管理,可实现千万级的模型、数据集以及服务等对象管理,并且无需人工干预,自动生成溯源图,选择任一模型都可以轻松找到对应的数据集、训练、模型部署。尤其是训练断点接续和训练结果比对,这些实用功能都大大受到AI开发者的好评。
目前,ModelArts已助力华为自动驾驶平台,高效管理AI数据处理流程,包括采集、筛选、混合标注和数据溯源,大大缩减了数据处理时间;利用分布式集群训练,提升了模型训练效率。40T原始数据处理从8000人天缩短到80人天,AI模型开发周期从数月缩短到周。
此外,值得一提的是华为云自动驾驶云服务Octopus也正是基于ModelArts,围绕数据和模型,提供端到端的自动驾驶业务,包括数据集、标注、算法、训练、模型。可以预见,随着自动驾驶领域的发展,华为云ModelArts将助力推动汽车产业智能发展。
现在,华为云双十一上云普惠季正在火热进行中,四大促销专场已开放,优惠多多,快来华为云官网选购吧!
免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。
