穿墙透视法!MIT让WiFi追踪人体看穿姿势动作

高层速读

关键信息:MIT和波士顿大学等组成的团队开发了一种可以穿透墙壁提供准确人体姿势估计的系统,做RF-Pose,基于WiFi追踪人体信号和反射人体的特性,通过跨形态的监督学习,该系统可以准确估计遮挡物背后的人体2D动作。

关键意义:在许多真实的场景,例如自动驾驶、搜索和救援中,透过障碍看到背后的场景可以提供战术优势。

穿墙透视法!MIT让WiFi追踪人体看穿姿势动作

透过墙壁就可以看到人,可能听起来像漫画和超级英雄里才会出现的场景,但是麻省理工学院、波士顿大学和德雷珀的一个团队已经开发出了一种人工智能(AI)系统,可以做到这一点。

该系统叫做RF-Pose,可以穿过墙壁和遮挡物提供准确的人体姿势估计。它利用了WiFi可以穿透墙壁,并反射人体的特性,用其来追踪人体的动作,并使用跨模式监督的神经网络来训练这些无线电信号,以便更精确地估计人体2D姿势。

该系统只通过一张照片,就可以进行人体姿态估计,将图片中人的头、手、腿等等位置的关键点标注出来,形成一个精准的“人体骨架”。

穿墙透视法!MIT让WiFi追踪人体看穿姿势动作

该团队的首席研究员在一份声明中说:“在许多真实的场景中,例如自动驾驶导航,以及搜索和救援中,透过障碍看到背后的场景可以提供战术优势。”

穿墙透视法!MIT让WiFi追踪人体看穿姿势动作

严格地说,这并不是第一个可以估计人体姿态的系统。

2017年1月,西安交通大学的研究人员开发了一种单像素相机,通过记录从墙上散射的光强度来拍摄背后的物体;2017年10月,麻省理工学院计算机科学与人工智能实验室(CSAIL)的科学家们发明了一种人工智能系统,该系统可以来检测墙角附近是否有人或物体,甚至可以估计它的运动轨迹和速度,但这两种技术都有相当严重的局限性

在重建一个场景之前,交通大学研究人员的相机需要至少5万次捕捉光线,而麻省理工学院的算法只能检测到视频中的物体,相比之下,RF-Pose系统只需要使用一张普通的照片

穿墙透视法!MIT让WiFi追踪人体看穿姿势动作

但当人体被墙壁等物体遮挡时应该怎么办呢?MIT 人工智能实验室队提出了一种富有创造力的解决方案:使用WiFi。WiFi可以穿透墙壁,并且可以反射人体,是良好的人体追踪器。

但是,WiFi虽能追踪人体位置,但由于精度不够高,很多关键点都是模糊的,不能应用到实际情况中。在精确度不高的情况下,常用的方法是对其进行神经网络的训练,用大量的数据提高它的精度。

但问题又来了,人们看不见WiFi信号,更无法提供通过WiFi检测到的人体姿态估计的高精度数据。这时MIT博士生赵明民说道:我们的解决方法是跨形态的监督学习。同时采集图片和WiFi信号,用基于图片的视觉模型来训练WiFi信号。

这就相当于一个是“老师”,一个是“学生”。图片老师将图片中的人体姿态数据教给学生,学生同时从WiFi信号中找到相同的数据。二者虽不在同一空间中,但接收到了实时的数据。并且,是学生将这些数据进行了统一整合,在穿透墙壁的情况下也可以估计人体姿态。

穿墙透视法!MIT让WiFi追踪人体看穿姿势动作

实验结果表明,当在可见的场景中进行测试时,基于WiFi的系统几乎和用于训练它的基于视觉的系统一样精确。然而,与基于视觉的姿势估计不同,基于WiFi的系统可以通过墙壁来估计2D的姿势,尽管他们从未接受过这样的场景训练。

该系统在2018年国际计算机摄影大会(ICCP 2018)上 年被授予“最佳海报”奖,论文已被CVPR 2018收录。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2018-06-13
穿墙透视法!MIT让WiFi追踪人体看穿姿势动作
高层速读关键信息:MIT和波士顿大学等组成的团队开发了一种可以穿透墙壁提供准确人体姿势估计的系统。

长按扫码 阅读全文