近日,京东AI研究院计算机视觉与多媒体实验室提出人脸检测算法“Improved Selective Refinement Network(ISRN)”,在业界顶级人脸检测榜单“WIDER FACE”中的“Easy”、“Medium”和“Hard”三项评测集中,以96.3%AP,95.4%AP,90.3%AP的优异性能全部获得排名第一的佳绩,在行业研究平台上展现出京东AI研究院出色的人脸检测实力。
图1 WIDER FACE数据集中不同难度的图片样例(图片来自于WIDERFACE官网)
“WIDER FACE”由香港中文大学举办,是目前人脸研究领域中规模最大、检测难度最高的公开人脸检测数据集之一。数据集涵盖32203张图片与393703张人脸标注,应用极端人脸尺寸变化、拍照角度引起的人脸姿态变化、不同程度的人脸遮挡、表情变化、光照强弱差异以及化妆等多种影响因素,极大地增加了图像人脸检测的难度。
图2."WIDER FACE"人脸评测集数据样例,从上至下三行分别对应Easy, Medium, Hard三项难度不同的评测
正是基于这种极具挑战性的检测难度、精细化的评测标准,“WIDER FACE”吸引了众多国内外众多高校和企业实验室(包括卡耐基梅隆大学、加州大学圣地亚哥分校、浙大、北航、旷视科技、腾讯优图、百度、华为云、滴滴AI、IBM沃森研究院等)参与研究和提升人脸检测算法的准确性和鲁棒性。
京东AI研究院能够在“WIDER FACE”人脸检测数据集评测的“Easy”、“Medium”和“Hard”三项评测集中,以96.3% AP,95.4% AP,90.3% AP的优异性能全部排名第一,核心在于京东AI研究院计算机视觉与多媒体实验室对“WIDER FACE”数据集中图片内容人脸区域较小,难以检测问题的处理。
图3. 京东AI研究院提出的ISRN在“WIDER FACE”的Easy,Medium,Hard三项评测均取得目前业界最佳性能(结果来自WIDER FACE官方网站[2])
在这个方面,京东AI研究院计算机视觉与多媒体实验室的人脸算法组对现有的的SelectiveRefinement Nerwork (SRN) 模型进行了优化改进:
利用随机初始化尝试大量网络结构
结合Group Normalization实现随机初始化训练,使人脸检测算法“Improved Selective Refinement Network(ISRN)”不使用传统的ImageNet预训练模型就可以达到较好的结果。
改用MS COCO数据集做预训练
MS COCO数据集中有较多属于“人类”类别的图片,而且检测目标尺度变化较大,小物体较多,相对于ImageNet更适合于WIDERFACE的人脸检测。
重新设计残差网络的输入模块
针对WIDERFACE数据集中的极小人脸,重新设计残差网络的输入模块,取消对原始图片的下采样操作,最大程度保留人脸的位置信息。然后第一个多通道数的卷积层进行拆分,来尽可能少地增加计算量与显存的情况:
提升小目标人脸的检测性能
利用FPN多层特征融合丰富检测特征的语义信息,结合STC(SelectiveTwo-step Classification,在浅层特征的第二阶段过滤掉低分数的样本)与STR (Selective Two-step Regression,在深层特征的第二阶段重新调整样本)两阶段分类回归方法来增强模型的鲁棒性,降低模型的误检率,提升对小目标人脸的检测性能。
京东AI研究院计算机视觉与多媒体实验室一直致力于人脸识别、人脸检测、人脸关键点检测、人脸防伪、人脸属性识别与模型压缩等计算机视觉领域的技术研究,并有丰富的算法、产品方面的经验积累。
学术上,京东AI研究院2018年已经在国际级学术顶会中发布了10余篇计算机视觉方向研究论文,并在计算机视觉国际顶会CVPR 2018 “Look Into Person” 国际竞赛单人和多人人体姿态估计两个竞赛单元排名第一;在计算机视觉国际顶会ECCV 2018 视觉领域迁移学习挑战赛的开放式图像分类(openset classification)和物体检测(detection)两个任务场景中均以大比分优势排名第一。
图4. 照片摄于2014年,是当时世界上人数最多的自拍合影,JDAI-FD检测到其中902张人脸,目前业内最佳
应用落地方面,京东AI研究院的人脸检测与识别技术已经广泛应用到京东-德清智能门店、京东7Fresh线下商超的实体零售场景之中,在京东与德清联合打造的多模态交互政务机器人——城市综合服务机器人和同冯氏集团联合打造的智能商业显示屏中,京东AI研究院先进的人脸检测与识别技术也体现出巨大价值。目前京东AI研究院的人脸检测与识别技术已形成成熟的技术解决方案,通过京东NeuHub人工智能平台对外合作,助力传统制造业、实体零售行业等多维领域转型升级。
图5 京东人脸检测技术在京东实体零售等场景中的应用
京东集团副总裁,AI平台与研究部负责人周伯文博士表示:“京东一直致力于用最先进的人工智能技术做最落地的人工智能应用。”此次京东AI研究院提出的人脸检测算法“Improved Selective Refinement Network(ISRN)”,在业界顶级人脸检测榜单“WIDER FACE”中的“Easy”、“Medium”和“Hard”三项评测集中,以96.3%AP,95.4%AP,90.3%AP的优异性能全部获得排名第一的佳绩,体现了京东AI在人脸检测领域的领先水平,未来京东将通过人工智能技术的持续深耕,将持续应用人工智能技术助力行业升级,引领美好生活,释放社会价值。
京东AI研究院计算机视觉与多媒体实验室还将在国际多媒体顶级学术会议IEEE ICME2019上,举行人脸关键点竞赛“Grand Challenge of 106-p Facial Landmark Localization”,欢迎相关领域的学生、研究人员的参与。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )