天津移动“AI荷尔蒙” ，打造基于计算机视觉技术的智慧零售系统

团队介绍

天津移动“AI荷尔蒙”团队，专注人工智能产品研究，研发的三项成果已入选中国人工智能产业联盟的2018年人工智能应用案例TOP100，累计获得国家专利7项。

团队产品经理赵东明：

人工智能专业博士，长期钻研人工智能技术研发，有高级工程师职称和中国移动集团专家认证；

团队数据科学家田雷：

北大数学系硕士学历，精于数据库开发、智能算法、逻辑设计。负责产品系统架构、系统软件开发。

一．前言

“AI荷尔蒙”

是天津移动IT和支撑中心开发的一款基于人脸识别技术的视觉智慧零售系统，包括WEB版和移动终端版，其中WEB版面向厅店运营，移动版面向流动式营销。

通过引入机器视觉、智慧推荐等人工智能技术，“AI荷尔蒙”以人脸识别快速获取客户身份、年龄、性别、行为轨迹，通过灵活的流动式营销场地部署，实现流动式营销场景中客户的驻留信息收集，以深度分析最终实现精准营销推荐，确保商家的智慧运营拓展到厅店外的广阔空间，也帮助客户更加快捷地完成商品了解、选购商品、交易、结算的购物流程。

二、产品介绍

目前市场上的新零售系统都是基于会员或APP用户的固定应用场景，利用互联网产品优势采集到客户人脸图像来实现客户识别，但无法识别非会员客户，无法适用户外或随机场景。“AI荷尔蒙”利用电信运营商大数据优势和人脸识别模型优势，有效解决以上局限性，实现了非会员客户全场景的智慧营销。

AI荷尔蒙厅店版系统以摄像头为核心设备进行进厅客户识别和推荐，但是受到场地、电力、显示等限制，存在部署的局限性。零售场景中常用的社区推广，小区推销，校园营销等户外场景，也需要有相应的系统形态去获取客户身份，主动推荐。因此，AI荷尔蒙团队打造了移动终端版系统。基于安卓手机或Pad，由设备自带的屏幕进行信息显示，由内置摄像头进行全景视频采集，完成主体的人脸识别和智能商品推荐功能。

Web版系统图示

移动终端版

三、核心优势

将固定场景推广到流动场景，突破了固定位置限制和硬件约束，只需要手机安装软件就可以实现智慧营销能力

将会员或产品客户范围推广到全部客户，把智慧零售从体验期带到了实用期。

依赖电信运营商大数据优势，可以获取客户产品推荐信息，为客户量身定做推荐产品，提升营销效率和成功率的同时，确保客户感知体验。

系统的客户体验流程：

四、研发过程

AI荷尔蒙团队2年来一直致力于能从视觉世界中学习的AI算法研究，通过打造一款产品，让计算机能够辨别不同的人，理解行为的关联，推断人的情绪、动作和意图，迅速判断出画面中人物、行为、喜好，进而推荐最适合的商品。

实现这一目标的第一步，就是让计算机快速而精准的识别人脸。过移动的人脸图像库来训练个性化模型，客户无感式完成人脸检测-特征点估计-特征比对的全过程，结合识别的身份进行个性化推荐。

工作难点体现在数据、模型、技术方法三个方面：

首先， AI荷尔蒙的训练集，必须比之前使用过的任何一种数据库都要庞大。因此，下载了900万天津移动用户的人脸图片，并去除水印，过滤劣质图片，生成多角度人脸。天津公司近百人的团队，辅助计算机完成了千万级的图片处理工作，最终得到让计算机精准识别人脸的千万级高质量图像数据库。

之后，在研究院九天深度学习平台的GPU集群支持下，通过卷积神经网络框架进行了100轮次2000小时的训练，模型优化再优化，参数精调再精调，最终得到个性化模型。

最后，为了客户的无感式体验，引入先进的目标检测框架YOLO，来提升人脸检测精度，确保广角视频中人脸不漏检。通过网络MR信令数据，圈定小范围的用户集，将检索范围由1:900万降到1:500，显著提升检索速度。在原有WEB版系统基础上，针对社区直销、校园营销的需求，开发了移动终端版，基于安卓手机或pad，在流动式营销中实现人脸识别和商品推荐功能。

系统的大数据运营界面

五、应用场景

在新零售背景下， AI荷尔蒙移动终端版在流动式营销场景中，有极大应用潜力，具体包括：

1. 社区销售场景

越来越多的渠道营销需要在传统业务专区外开辟了新的直销专区，例如：小区公共区域的营销，商场公共空间的营销，地铁入口营销，户外广场营销等。社区营销最大的问题，就是客户匆匆而过，或者咨询后犹豫离开，无法有效留下客户信息，不能后续深入营销，重点客户流量，客户精确位置无法获取，对精细化运营也不利。

因此，本系统是以安卓手机、Pad为载体，帮助流动式营销中无感式完成客户身份鉴别，留存客户人脸、身份、位置，为后续精准营销积累重要的精细化数据。在此场景下，社区内摊位后可布放以手机摄像头为载体的系统，全程拍摄营销过程并截取人脸，传送到后台服务器进行识别，并联合大数据微营销，计算最适应的营销方案后续发送。

2. 体验式新零售场景

目前，各大手机品牌均倾向于开设线下的终端体验区，尤其是新手机发布时，会结合时下热点事件进行流动式营销，例如世界杯期间，各大商家结合世界杯主题开设手机、啤酒、饮料品牌的公共空间布展营销，例如：在大悦城一层广场进行华为手机、三星手机、百威啤酒的销售展览。

在类似场景中，AI荷尔蒙移动终端版可以发挥成本低、携带方便、体验良好的特性，以PAD+支架方式，在零售区内设置智慧视觉体验区：

一方面将客户识别结果展示在界面，给客户全新体验；

另一方面可以获取客户身份，结合售卖的商品进行实时营销。

本产品目前已立足天津移动营销进行了产品使用推广，已应用于天津移动“万场直销”活动，支撑营销人员到小区等场景进行现场营销，有效提升了营销效率，并支撑在营销活动后自动生成营销记录和快速营销总结，目前正在18年校园营销中应用。经过验证可以有效提升现场营销效率12%，节省客户记录时间20%，提升产品推荐成功率8%。

六、近期产出的成果

进入2018年中国移动自主开发大赛半决赛10强

入选人工智能产业发展联盟TOP100优秀应用案例

天津市科技成果转化中心科技成果鉴定为“国内领先”项目

集团公司人工智能试点二期项目

集团公司研发计划项目

中国移动研发云支撑项目，中国移动研究院“九天”深度学习平台重点支撑项目

获推荐参加2018年天津市科学技术奖项目，获推荐参加2018年中国移动业务服务创新奖项目

完成天津移动核心能力回收项目结题

中国移动自主开发大赛半决赛现场

七、应用效果

人脸识别系统已应用到天津移动2个自办营业厅（新兴路、民航大学）的到厅客户身份识别、现场服务、业务推荐工作中，并直接参与了天津移动万场地推和校园营销活动，深入一线，以人工智能技术提升移动用户的客户感知。经过统计，客户的业务受理时间减少40%，销售效率提升25%，单位业务效益提升28%，客户满意度提升到99.5%，营业厅整体运营效率提升30%以上，社会效益显著，客户评价良好。

系统还在持续迭代中，目前已经通过AI技术教会计算机通过人脸去观察顾客，鉴别顾客，推荐预设的方案，下一步，会在人体行为分析领域继续探索，让计算机读懂人的形态，不同动作的内在关联，真正理解客户，感受客户，希望大家继续关注AI荷尔蒙，让AI给生活多点荷尔蒙。

生成海报

免责声明：本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿，凡在本网站出现的信息，均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性，但不保证有关资料的准确性及可靠性，读者在使用前请进一步核实，并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏，概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时，应及时向本网站提出书面权利通知或不实情况说明，并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后，将会依法尽快联系相关文章源头核实，沟通删除相关内容或断开相关链接。