最近几年来，很多人都在使用降噪耳机。这种设备能让人在吵闹的环境中享受安静，安心地听音乐或工作。

　　通常，降噪耳机会通过内置的芯片算法对外界噪音信号进行计算，然后由喇叭发出反向声波进行抵消的方式创造安静环境。

　　不过安静归安静，大多数情况下人们还是需要交流的，这就带来了不小的挑战。人们曾提出过各种解决方案，比如苹果最新款的 AirPods Pro 就会自动调整，如果耳机感知到人在说话就会停止降噪，但用户是无法控制听谁说话，或何时关掉降噪的。

　　近日，华盛顿大学的一个团队开发了一种 AI 系统，让戴着耳机的用户看着说话的人三到五秒钟来「记录」他们。

　　该系统名为「目标语音听觉」（Target Speech Hearing），能驱动降噪耳机消除环境中的所有其他声音，并实时播放已记录的说话者的声音。这样一来，即使听众在嘈杂的地方走动并且不再面对说话者，也不会丢失重要信息了。

　　华盛顿大学团队于 5 月 14 日在檀香山举行的 ACM CHI 计算机系统人因会议上展示了他们的研究成果，还获得了大会的最佳 lunwen。概念验证设备的代码已经开源，可供他人使用。

　　然后，来自该说话者声音的声波会同时到达耳机两侧的麦克风，误差幅度为 16 度。耳机将该信号发送到板载嵌入式计算机，其中的机器学习软件会在那里学习所需说话者的声音模式。

　　系统会锁定该说话者的声音，并继续将其播放给听者，即使这对说话者不断变化站位，四处走动也能保持跟随。

　　实现了带有噪声示例的注册网络。设计并比较了两个不同的注册网络 —— 波束形成器网络和知识蒸馏网络 —— 以使用短双耳噪声示例即可有效生成一个可捕捉目标说话人特征的嵌入向量。

　　实时嵌入式的目标语音听觉网络。TSH 使用生成的嵌入，随后使用 IoT 级别 CPU 上实时运行的优化网络提取目标语音。为此，研究者探索了各种模型和系统级优化，实现了在嵌入式设备上实时运行的轻量级目标语音听觉网络。

　　推广到现实世界的多径、HRTF 和移动性。作者提出了一种训练方法，仅使用合成数据，也可以保证系统不会被现实世界中未见过的目标干扰。

　　此外，该研究明确使用多路径进行训练，以推广到室内和室外环境。作者还引入了一种微调机制，可以解决移动源和听众头部方向的突然变化（高达 90°/s 的角速度），并允许系统在注册期间处理听者头部方向多至 18° 的误差。

　　具有噪声消除功能的端到端目标语音听力系统。（b）一对 Sony WH-1000XM4 耳机在各个频率下启用和不启用主动噪声消除的噪声隔离性能。低频下较大的值是由于入耳式麦克风拾取了佩戴者的声音。（c）模型推理时间的 CDF 图，包括和不包括从输出到输入的缓存缓冲区副本。

　　「如今，很多人把人工智能等同于基于网络的聊天机器人，可以回答问题，」华盛顿大学保罗・G・艾伦计算机科学与工程学院教授、该研究主要作者 Shyam Gollakota 说道。「但在这个项目中，我们开发的 AI 可根据佩戴耳机的人的偏好来改变他们的听觉感知。有了我们的设备，即使身处嘈杂的环境中，有很多人在说话，你现在也可以清楚地听到单个说话人的声音。」

　　该团队对 21 名志愿者测试了该系统，受试者对已注册说话者声音清晰度的评分平均几乎是未过滤音频的两倍。

　　目前 TSH 系统一次只能注册一个对话人，且只有在没有其他巨大声音从目标说话人相同方向传来时才能注册说话人。如果用户对音质不满意，则可以对说话者进行另一次注册以提高清晰度。

　　本文为澎湃号作者或机构在澎湃新闻上传并发布，仅代表该作者或机构观点，不代表澎湃新闻的观点或立场，澎湃新闻仅提供信息发布平台。申请澎湃号请用电脑访问。

上一篇:再也不用带耳塞了！这种薄如蝉翼的隔音新材料竟是“消音神器”！
下一篇:降噪耳机是怎么降噪的