用你的耳朵看世界——世界首个3D音频AR导航助力视障等人士安全出行

位于维也纳的初创公司Dreamwaves,开发了一种3D音频AR导航应用程序——waveOut ,视障者、老年人或骑行者只要在手机下载该APP,就能按照它所提供的音频信号路线安全出行。

世界首个3D音频AR导航助力视障等人士安全出行.jpg

跟着声音走

“用你的耳朵看世界”——这话乍听起来令人震惊,然而waveOut的开发者Hugo Furtado会让你相信这个说法很靠谱。

waveOut的开发者Hugo Furtado.jpg

图源:innovationorigins

葡萄牙人Hugo Furtado是一位微创心脏外科增强现实博士,同时也是业余的音响工程师。外科与音响,这两方面的兴趣与热情,促使他创建了 Dreamwaves——一家使用增强现实音频帮助视障者、老年人、骑行者从更大的自主性中受益的初创公司。

声音工程方面的经验激励Furtado创造waveOut。Furtado说:“对很多人来说,看地图真的不是一种非常直觉的导航方式,尤其是对老年人、骑行者或者视觉障碍者来说,看地图对他们来说可能很危险,有时根本难以想象。我们开发出一种3D音频AR导航技术——waveOut。这是一款定位精准的手机音频导航应用程序,我们把这项技术授权给企业,让他们把声音导航集成到应用程序里,将从根本上简化视障者、老年人和骑行者的生活。”

Furtado解释道:“我们利用声音来获取方位。用户选择一个行程,然后用虚拟的路标标记。这些路标会发出3D音频,让用户在沿途移动时能够准确地听到自己的位置。”

利用声音来获取方位。用户选择一个行程,然后用虚拟的路标标记.jpg

以大脑感知的手段复制声音

在手机屏幕上,这些路标清晰可见,即使是不知道怎么阅读地图的孩子也可以据此找到自己的道路,而这一功能对仍有部分视力的用户也是非常有帮助的。如果这些用户转弯错误,在下一个十字路口之前,来自最近路线点的声音会停止,使他们能够再次找到路线。

为了开发这项技术,Dreamwaves的团队进行了实验,探索人类如何感知3D声音,以及它如何使我们能够在空间中定位自己。Hugo Furtado指出:“我们创建了软件筛选器来复制受耳朵形状影响的听觉,这使我们能够在空间中定位自己,因为声音是由耳朵和头部的解剖结构筛选的”。

使用计算机辅助视觉技术

waveOut是为出行困难的人设计的,它使用了计算机辅助视觉技术,为此用户必须举起智能手机或将其戴在脖子上。

Hugo Furtado指出:“我们的技术专注于识别他们可以安全行走的区域,而不是检测障碍物并告诉用户不应该去哪里。”这种相机的使用只是暂时的:“如果你在广场上,在没有意识到的情况下错过了转弯的机会,而且你不再有参考点,你可以使用手机上的相机离开广场,然后再把它放回口袋。”

waveOut直接在智能手机上实现机器学习分割,并通过经训练识别路标和人行横道等特定元素的模型提供流畅的计算机视觉体验。该软件通过计算机视觉,将用户引导到安全的无障碍空间,并识别路标和人行横道。

waveOut直接在智能手机上实现机器学习分割,并通过经训练识别路标和人行横道等特定元素的模型提供流畅的计算机视觉体验.jpg

连接交通管理系统

Dreamwaves的目标是在城市环境整合方面迈出更大一步。在荷兰,该公司与智能道路交通解决方案的领导者、交通信号管理公司Yunex Traffic建立了合作伙伴关系。

“这使我们能够连接到红绿灯管理系统,这样我们的视障用户就可以请求优先通过交叉路口。对于自行车快递员来说,这一功能使他们能够知道在红绿灯到来时,应该加速还是减速,这将提供更流畅的体验,减少行程中的停车次数。”

Dreamwaves计划将其技术轻松地分享给个人,也希望通过与Yunex Traffic以及自行车快递公司合作而盈利。Hugo Furtado解释道:“每当骑手们骑行受阻时,这些服务提供商就会失去收入。”他还希望与宜家等大型零售商达成协议,帮助视障者、老年人在这些店内随意自如走动。

设计新一代沉浸式音频技术

欧盟在2021年设立了一项为期六年的AR/VR项目——SONICOM,旨在研究“改变基于听觉的AR/VR社交互动与沟通”(Transforming auditory-based social interaction and communication in AR/VR)。

欧盟在2021年设立了一项为期六年的ARVR项目——SONICOM.jpg

项目经费565万欧元(约合人民币4300万元),英国帝国理工学院、法国索邦大学、奥地利国家科学院等11家欧洲高校和研究机构及科技公司获得了该项目的资助。Dreamwaves也在其中,得到了17万欧元,助力了该公司项目waveOut的研发。

声音是人类体验中不可缺少的一部分。它作为感知环境和与环境互动的最重要方式之一,在塑造人们对世界的感知方式方面发挥着重要作用。在虚拟现实/增强现实 (VR/AR) 中,模拟空间中正确的音频对于提供沉浸式虚拟体验至关重要。

然而,声学VR/AR 存在诸多挑战。沉浸式音频是我们日常体验的周围能够听到并与之互动的声音。在虚拟现实或增强现实 (VR/AR) 中模拟空间定位的声音,必须以针对每个人的独特方式完成,目前需要昂贵且耗时的个人测量,这在商业上是不可行的。此外,沉浸式音频的影响超出本地化等感知指标,是一个尚未探索的研究领域,特别是在与社交互动相关的情况下进入了行为和认知领域。

为此,欧盟希望SONICOM,借助人工智能(AI)的力量,设计新一代沉浸式3D音频技术,彻底改变人们与虚拟世界的互动方式,促进基于听觉的社交互动领域的未来发展与创新。(文/维克多)

免责声明:此文内容为第三方自媒体作者发布的观察或评论性文章,所有文字和图片版权归作者所有,且仅代表作者个人观点,与极客网无关。文章仅供读者参考,并请自行核实相关内容。投诉邮箱:editor@fromgeek.com。

极客网企业会员

免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。

2023-06-05
用你的耳朵看世界——世界首个3D音频AR导航助力视障等人士安全出行
位于维也纳的初创公司Dreamwaves,开发了一种3D音频AR导航应用程序——waveOut ,视障者、老年人或骑行者只要在手机下载该APP,就能按照它所提供的音频信号路线安全出行。

长按扫码 阅读全文