[论文解读] Sound Adversarial Audio-Visual Navigation

Yingfeng Yu, Wenbing Huang+4 more|arXiv (Cornell University)|Feb 22, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出了一种名为声音对抗性视听导航（SAAVN）的新框架，通过模拟一个动态干扰代理（即声音攻击者）在声学复杂的3D环境中持续施加竞争性声音，以训练智能体在复杂声学环境下实现鲁棒导航。该方法采用联合演员-评论家训练机制，配备集中式评论家，显著提升了在Replica和Matterport3D数据集上清洁、未见及对抗性环境下的泛化能力与鲁棒性。

ABSTRACT

Audio-visual navigation task requires an agent to find a sound source in a realistic, unmapped 3D environment by utilizing egocentric audio-visual observations. Existing audio-visual navigation works assume a clean environment that solely contains the target sound, which, however, would not be suitable in most real-world applications due to the unexpected sound noise or intentional interference. In this work, we design an acoustically complex environment in which, besides the target sound, there exists a sound attacker playing a zero-sum game with the agent. More specifically, the attacker can move and change the volume and category of the sound to make the agent suffer from finding the sounding object while the agent tries to dodge the attack and navigate to the goal under the intervention. Under certain constraints to the attacker, we can improve the robustness of the agent towards unexpected sound attacks in audio-visual navigation. For better convergence, we develop a joint training mechanism by employing the property of a centralized critic with decentralized actors. Experiments on two real-world 3D scan datasets, Replica, and Matterport3D, verify the effectiveness and the robustness of the agent trained under our designed environment when transferred to the clean environment or the one containing sound attackers with random policy. Project: \url{https://yyf17.github.io/SAAVN}.

研究动机与目标

• 解决现有视听导航智能体在面对真实世界声学噪声或有意干扰时缺乏鲁棒性的问题。
• 构建一个逼真的对抗性声学环境，其中声音攻击者会动态调整声音的音量和类别以干扰智能体。
• 通过智能体与攻击者之间的零和博弈设定，实现对抗性训练，以提升智能体的鲁棒性。
• 设计一种联合训练机制，采用集中式评论家以稳定学习过程并提升收敛性。
• 评估智能体在清洁环境与对抗性环境（包括未见过的设置）下的可迁移性与性能表现。

提出的方法

• 引入一个在环境中移动的声音攻击者，每一步时间动态调整声音的音量与类别，以最大化对智能体的干扰。
• 将智能体与攻击者之间的交互建模为零和双人博弈，通过限制攻击者功率（音量比 < 1）来确保训练的稳定性和公平性。
• 采用联合演员-评论家框架，配备集中式评论家与去中心化演员，以稳定训练过程并提升策略学习效果。
• 通过视觉与音频嵌入（512维）的逐元素相乘实现多模态融合，以增强特征表示，其性能优于拼接方式。
• 在三种不同攻击类型下进行训练：周期性（P）、可变性（V）与连续性（C），并引入综合的PVC设置以评估鲁棒性。
• 使用SoundSpaces平台，在Replica与Matterport3D数据集上进行基准测试，采用标准指标：SPL、R_mean、DTG与SSPL。

实验结果

研究问题

• RQ1 在受控对抗性声学环境中训练的视听导航智能体，是否能在清洁环境中实现良好泛化并保持高性能？
• RQ2 与在清洁环境中训练相比，针对动态声音攻击者的对抗性训练在提升鲁棒性方面有何优势？
• RQ3 采用集中式评论家的联合训练是否能带来比独立训练智能体与攻击者更优的收敛性与性能表现？
• RQ4 多模态融合策略（拼接 vs. 逐元素相乘）在对抗性环境下的导航性能表现有何差异？
• RQ5 在最坏情况的对抗性条件下训练的智能体，是否仍能在面对自然非对抗性声音干扰时保持良好表现？

主要发现

• SAAVN:P在Replica数据集的P环境中取得0.657的SPL与13.2的R_mean，优于AVN（0.609的SPL与11.0的R_mean），在未见过的P环境中实现0.041的SPL提升。
• 在V环境中，SAAVN:V取得0.648的SPL与13.6的R_mean，较AVN（0.549的SPL）在未见设置中提升0.103的SPL。
• 在C环境中，SAAVN:C取得0.609的SPL与12.7的R_mean，显著优于AVN（0.576的SPL与10.5的R_mean），在未见C环境中实现0.033的SPL增益。
• 在最坏情况的PVC攻击设置中，SAAVN:PVC在PVC环境中取得0.552的SPL与10.6的R_mean，且在未见PVC环境中仅下降0.004的SPL，表明其具备极强的泛化能力。
• 采用逐元素相乘的多模态融合策略优于拼接方式，SPL达0.592 vs. 0.552，R_mean达11.8 vs. 10.6（PVC环境）。
• 在对抗性环境中预训练的智能体（SAAVN）在清洁环境中仍保持优异性能，而AVN智能体在复杂场景中性能显著下降。