[论文解读] SoundSpaces: Audio-Visual Navigation in 3D Environments

Changan Chen, Unnat Jain+6 more|arXiv (Cornell University)|Dec 24, 2019

Tactile and Sensory Interactions参考文献 101被引用 7

一句话总结

本文提出了一种在3D环境中使用多模态深度强化学习框架进行视听导航的方法，通过融合第一人称音频与视觉观测，实现对声源目标的导航。该研究提出了SoundSpaces——一个在Matterport3D和Replica环境中基于声学真实感音频渲染的新数据集，并证明音频显著提升了导航性能，尤其在未见过的环境和未听过的声源中表现更优。

ABSTRACT

Moving around in the world is naturally a multisensory experience, but today's embodied agents are deaf---restricted to solely their visual perception of the environment. We introduce audio-visual navigation for complex, acoustically and visually realistic 3D environments. By both seeing and hearing, the agent must learn to navigate to a sounding object. We propose a multi-modal deep reinforcement learning approach to train navigation policies end-to-end from a stream of egocentric audio-visual observations, allowing the agent to (1) discover elements of the geometry of the physical space indicated by the reverberating audio and (2) detect and follow sound-emitting targets. We further introduce SoundSpaces: a first-of-its-kind dataset of audio renderings based on geometrical acoustic simulations for two sets of publicly available 3D environments (Matterport3D and Replica), and we instrument Habitat to support the new sensor, making it possible to insert arbitrary sound sources in an array of real-world scanned environments. Our results show that audio greatly benefits embodied visual navigation in 3D spaces, and our work lays groundwork for new research in embodied AI with audio-visual perception.

研究动机与目标

• 为解决当前具身智能体因视觉受限而带来的局限性，引入视听感知以实现在复杂3D环境中的导航。
• 使智能体能够同时利用音频与视觉模态，以发现空间结构并定位声源目标。
• 开发一种可扩展的端到端训练框架，用于基于深度强化学习的视听导航。
• 创建一个全新的基准与数据集——SoundSpaces——包含在真实世界3D环境中预计算的音频渲染结果，以支持具身人工智能研究。
• 评估智能体在未见过的环境和未听过的声源中的泛化能力，展示模态间的鲁棒性与协同效应。

提出的方法

• 通过在多模态深度强化学习架构中融合视觉与音频特征，将最先进的视觉导航策略扩展以包含音频观测。
• 使用通过几何声学仿真生成的预计算音频渲染结果，以在Matterport3D和Replica环境中建模真实的声波传播，包括反射与混响效应。
• 扩展Habitat平台以支持音频传感器和动态声源定位，实现在真实扫描3D空间中任意声源的仿真。
• 在视听观测序列上使用模仿学习与强化学习进行端到端的导航策略训练，动作选择由两种模态共同引导。
• 应用基于梯度的显著性分析（如基于消融的重要性评分）来量化每一时刻视觉与音频对动作决策的动态贡献。
• 使用成功率（Success Rate）与SPL（按路径长度加权的成功率）评估性能，对比音频仅、视觉仅与视听设置下的模型表现。

实验结果

研究问题

• RQ1 与仅视觉基线相比，视听感知是否能显著提升在复杂、未见过的3D环境中的导航性能？
• RQ2 在导航过程中，音频与视觉模态如何动态地贡献于动作选择？在不同环境背景下，两者的相对重要性如何？
• RQ3 视听智能体在新环境和未听过的声源上能多大程度实现泛化？当声源不熟悉时，性能下降程度如何？
• RQ4 在无GPS的情况下，仅音频能否作为位移型目标信号的可行替代方案？
• RQ5 声学真实感音频渲染的整合如何增强智能体推断空间结构与定位目标的能力？

主要发现

• 视听导航显著提升了导航性能：AudioPointGoal（APG）智能体即使在面对未听过的声源时，也优于PointGoal基线模型，在未见过的Replica环境中实现了64.9%的SPL。
• 在某些场景中，仅音频可超越基于GPS的目标信号，APG智能体的SPL高于PointGoal基线，表明音频对不完美里程计具有更强鲁棒性。
• 通过音频训练的智能体能有效泛化至未见过的环境和未听过的声源，APG智能体在测试时面对全新声源仍保持优异表现（在Replica环境中SPL约为64.9）。
• 模型能动态平衡音频与视觉：显著性分析显示，音频在导航初期（如转向声源）占主导，而视觉在避障任务中变得更为关键。
• 音频提供方向与几何线索：声压场揭示了房间结构与最短路径（测地线），使智能体能够推断出超越视觉感知的空间布局。
• 当泛化至未见过的声源时，AudioGoal（AG）的性能有所下降（例如在Replica中未听过的声源SPL为27.7%），但仍显著高于仅视觉基线，表明未来使用更大音频数据集仍有改进空间。