[论文解读] Unsupervised Sound Localization via Iterative Contrastive Learning

Yan-Bo Lin, Hung-Yu Tseng+3 more|arXiv (Cornell University)|Apr 1, 2021

Speech and Audio Processing参考文献 46被引用 4

一句话总结

该论文提出了一种使用迭代对比学习的无监督声音定位框架，通过利用跨训练周期的预测发声/非发声区域伪标签以及帧间音频关系，实现无需标注数据的声音定位性能提升。该方法仅使用自监督信号，在Flickr-Sound和MUSIC-Synthetic数据集上实现了最先进性能。

ABSTRACT

Sound localization aims to find the source of the audio signal in the visual scene. However, it is labor-intensive to annotate the correlations between the signals sampled from the audio and visual modalities, thus making it difficult to supervise the learning of a machine for this task. In this work, we propose an iterative contrastive learning framework that requires no data annotations. At each iteration, the proposed method takes the 1) localization results in images predicted in the previous iteration, and 2) semantic relationships inferred from the audio signals as the pseudo-labels. We then use the pseudo-labels to learn the correlation between the visual and audio signals sampled from the same video (intra-frame sampling) as well as the association between those extracted across videos (inter-frame relation). Our iterative strategy gradually encourages the localization of the sounding objects and reduces the correlation between the non-sounding regions and the reference audio. Quantitative and qualitative experimental results demonstrate that the proposed framework performs favorably against existing unsupervised and weakly-supervised methods on the sound localization task.

研究动机与目标

• 解决声音定位中因人工配对音频与视觉信号而带来的标注数据有限问题，该过程耗时费力。
• 克服现有弱监督和自监督方法的局限性，这些方法依赖预定义聚类、单源假设或事件级标签。
• 开发一种完全无监督框架，无需任何真实边界框或事件标注，学习音频与视觉之间的对应关系。
• 通过联合建模帧内（视频内部）和帧间（跨视频）音频与视觉信号之间的关系，提升定位准确性。

提出的方法

• 将前一训练周期的定位结果作为当前周期中发声和非发声区域的伪标签，以指导对比学习。
• 通过将预测的发声区域作为正样本对，非发声区域作为负样本对，在同一视频帧内进行帧内采样。
• 通过比较不同视频之间的音频嵌入引入帧间关系；语义相似的音频片段被视为正样本对。
• 利用对比损失函数，基于音频相似性，促进同一视频内及跨视频的音频与视觉特征对齐。
• 通过在多个周期中迭代更新伪标签和表示学习，逐步聚焦于真实发声对象。
• 使用主干网络（如基于MSSL的方法）结合特征归一化与阈值处理，从类别激活图生成可靠的伪标签。

实验结果

研究问题

• RQ1 是否可以在完全不依赖人工标注数据或对声源数量做先验假设的情况下，有效实现无监督声音定位？
• RQ2 与单阶段对比学习相比，利用前一周期生成的伪标签进行迭代优化，如何提升定位准确性？
• RQ3 基于语义相似性的帧间音频关系在多视频对齐的音视频表征学习中，能发挥多大作用？
• RQ4 同时建模发声和非发声区域在多大程度上能提升模型抑制误报和背景噪声的能力？

主要发现

• 所提出的迭代对比学习框架在Flickr-Sound和MUSIC-Synthetic数据集上实现了最先进性能，且无需任何标注。
• 消融实验表明，每个组件——迭代训练、伪非发声区域的使用以及帧间关系——均显著提升了定位性能。
• 如图6所示，随着训练周期推进，定位结果逐步聚焦于真实发声区域，证明了迭代优化的有效性。
• 音频检索结果（图7）验证了跨视频语义相似的音频片段能被正确关联到视觉上相似的场景，证实了帧间音频关系的实用性。
• 在基准数据集上的共识IoU和AUC指标上，该方法优于现有的弱监督和无监督基线模型。
• 即使没有事件级标签，将MSSL方法的第二阶段替换为所提出的无监督训练，也能带来显著性能提升。