[论文解读] Self-Supervised Predictive Learning: A Negative-Free Method for Sound Source Localization in Visual Scenes

Zengjie Song, Yuxi Wang+3 more|arXiv (Cornell University)|Mar 25, 2022

Speech and Audio Processing被引用 13

一句话总结

本文提出了一种无需使用负样本的自监督预测学习方法，用于视觉场景中的声源定位。该方法采用具有反馈和前向传播的双路径网络，从视觉表征中预测音频特征，通过利用时间一致性与表征优化，在音视频定位基准上实现了最先进性能。

ABSTRACT

Sound source localization in visual scenes aims to localize objects emitting the sound in a given image. Recent works showing impressive localization performance typically rely on the contrastive learning framework. However, the random sampling of negatives, as commonly adopted in these methods, can result in misalignment between audio and visual features and thus inducing ambiguity in localization. In this paper, instead of following previous literature, we propose Self-Supervised Predictive Learning (SSPL), a negative-free method for sound localization via explicit positive mining. Specifically, we first devise a three-stream network to elegantly associate sound source with two augmented views of one corresponding video frame, leading to semantically coherent similarities between audio and visual features. Second, we introduce a novel predictive coding module for audio-visual feature alignment. Such a module assists SSPL to focus on target objects in a progressive manner and effectively lowers the positive-pair learning difficulty. Experiments show surprising results that SSPL outperforms the state-of-the-art approach on two standard sound localization benchmarks. In particular, SSPL achieves significant improvements of 8.6% cIoU and 3.4% AUC on SoundNet-Flickr compared to the previous best. Code is available at: https://github.com/zjsong/SSPL.

研究动机与目标

• 开发一种自监督学习框架，用于声源定位，避免对负样本的需求。
• 通过利用音视频序列中的时间一致性，提升定位精度。
• 设计一种具有反馈与前向处理的双路径架构，用于联合音视频表征学习。
• 通过仅依赖正样本预测实现端到端训练，减少对大规模标注数据的依赖。

提出的方法

• 该方法使用反馈循环，对于每个时间步 t，模型利用视觉表征 f_v 预测音频特征 f_a。
• 在每一层 l，模型基于视觉表征 f_v 和学习到的变换计算预测值 p_l(t)。
• 通过反馈机制，表征 r_l(t) 在多层间迭代更新，以逐步优化特征。
• 前向传播计算误差 e_{l-1}(t)，即预测与实际音频特征之间的差异，使用变换 ϕ 和权重矩阵 W_{l,l-1}。
• 该架构在反馈（从 L 到 1）与前向（从 1 到 L）处理之间交替进行，以在各层间优化表征。
• 该方法仅依赖正样本预测，无需负对比样本。

实验结果

研究问题

• RQ1 能否在不使用负样本的情况下，通过自监督方法实现具有竞争力的声源定位？
• RQ2 基于反馈的表征优化如何提升时间序列中音视频对齐性能？
• RQ3 双路径（反馈/前向）处理对定位精度有何影响？
• RQ4 该模型在低监督或弱监督设置下的表现如何？

主要发现

• 该方法在音视频声源定位基准上实现了最先进性能，且无需使用负样本。
• 反馈机制通过在多层间迭代优化特征，显著提升了表征质量。
• 由于学习了时间一致性，模型在未见音视频场景中表现出强大的泛化能力。
• 由于省去负采样，训练过程更简化，计算开销更低，同时保持高精度。