近日,小米自研声音识别算法取得最新进展,算法模型领先其他机构,性能国际排名第一。小米是在 Google 发布的 AudioSet 音频标记任务中获得的这一突破。它是音频标记任务影响力最大的数据集,被认为是声音领域的 ImageNet (注:计算机视觉领域最著名的数据集,由著名学者李飞飞等主持发布),权威性颇高。
Google 将 AudioSet 数据集分为三个子集,前两个子集用于训练,被合并称为 “AudioSet-2M”。正是在这个合并后的训练集中,小米的声音识别算法模型首次在业界突破了50 mAP,刷新了音频标记技术指标,成为截至目前性能最好的模型。此外,小米还发布了一个 Mini 版模型,适合资源受限的场景。该模型的参数量被压缩到了原模型的约九分之一,远小于其他机构的模型,但性能却优于其他所有机构。
这项技术的突破意味着小米的声音识别算法能力再次精进,小米的众多智能硬件设备应用此项技术后,可以更敏锐地捕捉和识别环境声音,大幅提升硬件的智能化程度,从而为用户创造更加便捷的智能生活体验。
不仅如此,小米声音识别算法下的音频标记技术能力,还为业界的前沿研究提供了巨大的技术价值,有力推动了相关研发进程。
(小米自研声音识别算法性能国际排名第一)
小米算法应用场景广泛,AI赋能惠及普通大众
小米此次精进后的声音识别算法,具有极高的应用价值。它能够广泛应用于小米的智能设备中,大幅提升用户的智能生活体验。具体来说,音频标记算法能够识别广泛的环境声音,比如婴儿的啼哭声、动物叫声、汽车引擎声、爆炸声、烟雾警报、门铃声、水流声等,并让环境中的声音以文字等模态表达,让声音被“看”见。这可以让硬件设备更加智能,为用户带去更高效和更准确的声音识别体验。
以搭载在小米手机中的“小米闻声”功能来说,它可以监测 14 种重要的环境音,包括火警、婴儿啼哭、烧水壶声等,并以手机通知栏进行文字推送。这让听力障碍用户得以“看见”生活中的声音,与普通人一样享受智能生活的便捷。小米手环也可以同步显示和接收这样的声音信息。
智能家居设备上的应用则更加广泛。小米的声音识别算法已经应用于众多的智能家居设备中,比如米家摄像头的宝宝哭声监测功能,它能在监测到宝宝哭声的时候,实时向用户手机推送通知。Xiaomi Sound 音箱也搭载了声音识别功能,它能够识别家用报警器、婴儿啼哭、火警、流水、猫叫、狗叫等六种用户关心的家居环境声音。小米健康 APP 的睡眠鼾声监测,则可以帮助跟踪用户睡眠时的鼾声梦话。此外,针对家庭场景,小米还对音箱环境音的监测做了特别适配。比如为了避免一开水龙头就触发通知,打扰用户,研发人员将水流声的识别提醒条件改为一分钟之内多次监测到。
这项算法技术还广泛应用于小米机器人的研发中,大幅提升了机器人的感知能力。小米历时10个月全栈自研的第一代全尺寸人形机器人 CyberOne,可以识别 85 种环境声音,能够通过听觉感知 6 类、45 种人类情绪。而小米第二代仿生四足机器人 CyberDog 2 则可以识别 38 种环境声音,实现更强大的动态响应能力。
小米强大的 AIoT 平台生态,为这项算法技术的应用提供了广阔的空间,这也是小米技术研发的先天优势,有丰富的场景推动技术迈向应用层面,让科技成果真正惠及普通大众。目前,小米的声学语音团队已将自研声学语音技术全面应用于小米手机、音箱、电视、耳机、手表、机器人等 79 个品类,共计 5000多款智能产品中。而小爱同学的月活跃用户数量则达到了1.15 亿,是世界上最忙的语音助手之一。
长期深耕底层技术,小米推动行业前沿探索向前迈进
小米自研声音识别算法的突破,还为业界的前沿研究提供了巨大的技术价值。目前,业内已知的相关研究成果几乎都应用到了预训练的音频标记模型,用作音频编码,为音频领域的研究提供关键的音频信息提取能力。小米此次在音频标记任务上的出色表现,不仅充分彰显了技术实力,更直接推动了音频领域前沿探索向前迈进。
这是小米又一次展露出深耕底层技术的决心和实力。今年8月,小米对其科技战略进行了升级,提出“选择对人类文明有长期价值的技术领域,坚持长期投入”的科技理念,并指出了具体路径和原则,即深耕底层技术,长期持续投入,软硬深度融合,AI全面赋能。
事实上,历经十三年的发展,小米的技术研发已经从应用层面更多转向了底层技术层面。其中 AI 领域是小米长期持续投入的底层赛道之一。据悉,小米自2016年组建AI团队以来,人工智能团队经过7年6次扩展,人员规模已达3000多人。同时,小米 AI 技术能力也已经覆盖了视觉、声学、语音、NLP、知识图谱、机器学习、大模型、多模态等众多方向,并全面赋能了手机、汽车、AIoT、机器人等众多业务板块。今年4月,小米还正式组建了 AI 大模型团队,全面拥抱大模型,目前陆续有了一些应用尝试。其中第一个应用大模型,就是将智能语音助理小爱同学升级了大模型版本,并开启邀请测试。这次声学语音团队刷新行业音频标记技术指标,再次证明了小米强大的AI实力。
从更全局的视野看,小米的技术体系已蔚然成林,研发布局进入了12个技术领域,包括5G 移动通信技术、大数据、云计算及人工智能,同时基于智能制造,进入机器人、无人工厂、智能电动汽车等,总体细分领域达99项。小米的技术研发还有持续的资金保障,未来五年(2022-2026)研发投入将超过1000亿元。
小米还在持续通过多个层面的努力提升科技创新能力。9月11日,小米正式成立集团科协暨院士专家工作站,携手更多力量、汇聚更多资源进行关键核心技术攻关,加强基础性、前沿性研究和成果转化。
(9月11日,小米集团科协成立暨院士专家工作站授牌仪式在京举行)
中国科协党组成员、书记处书记殷皓在当天的授牌仪式活动中表示,小米集团科协的成立,体现了小米集团高管对科技创新工作的高度重视。他指出,期待小米集团科协充分发挥资源优势,大力普及科学知识,拓展开放合作,共同营造具有全球竞争力的开放创新生态。
中国工程院院士丁文华成为小米院士专家工作站的首位进站院士。他指出,在以手机镜头为代表的成像技术领域,小米实现了光学镜头小型化的重大突破,是行业的佼佼者。小米已经牵头成立了智能图像处理北京市工程研究中心,他希望未来能够努力升级为国家工程研究中心。他还表示,期待与小米科技工作者团队共同开展关键技术攻关,推动行业向前发展。
在新的科技战略指引下,小米正朝向着世界科技巨头的目标锐意进取。而在历经十三年的丰厚积淀,又汇聚起强大外部科研力量后,小米势必迸发出更加强劲的创新活力。
(免责声明:本网站内容主要来自原创、合作伙伴供稿和第三方自媒体作者投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。
任何单位或个人认为本网站中的网页或链接内容可能涉嫌侵犯其知识产权或存在不实内容时,应及时向本网站提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明。本网站在收到上述法律文件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )