[论文解读] Positive Sample Propagation along the Audio-Visual Event Line

Jinxing Zhou, Liang Zheng+3 more|arXiv (Cornell University)|Apr 1, 2021

Music and Audio Processing参考文献 31被引用 6

一句话总结

本论文提出了一种正样本传播（PSP）模块，通过识别并聚合仅高相似度的音视频片段对，过滤掉无关或弱相关片段对，从而提升音视频事件（AVE）定位性能。通过构建全对相似度图并应用基于阈值的选择机制，PSP增强了特征的可区分性，在 AVE 数据集上实现了完全监督设置下的 SOTA 准确率 77.8%，以及弱监督设置下的 73.5%。

ABSTRACT

Visual and audio signals often coexist in natural environments, forming audio-visual events (AVEs). Given a video, we aim to localize video segments containing an AVE and identify its category. In order to learn discriminative features for a classifier, it is pivotal to identify the helpful (or positive) audio-visual segment pairs while filtering out the irrelevant ones, regardless whether they are synchronized or not. To this end, we propose a new positive sample propagation (PSP) module to discover and exploit the closely related audio-visual pairs by evaluating the relationship within every possible pair. It can be done by constructing an all-pair similarity map between each audio and visual segment, and only aggregating the features from the pairs with high similarity scores. To encourage the network to extract high correlated features for positive samples, a new audio-visual pair similarity loss is proposed. We also propose a new weighting branch to better exploit the temporal correlations in weakly supervised setting. We perform extensive experiments on the public AVE dataset and achieve new state-of-the-art accuracy in both fully and weakly supervised settings, thus verifying the effectiveness of our method.

研究动机与目标

• 解决弱监督 AVE 定位中特征融合时噪声和无关音视频片段对的挑战。
• 通过仅关注高相关性音视频对来提升特征可区分性，即使在时间上未对齐的情况下亦可实现。
• 开发一种在完全监督和弱监督设置下均能泛化的模型，无需强监督信号。
• 减少负样本或弱连接对音视频融合过程中模型性能的干扰。
• 通过在弱监督设置中引入加权分支，强调相关片段，从而增强时间建模能力。

提出的方法

• 构建每段音频与视觉片段之间的全对相似度图，以评估其跨模态相关性。
• 应用基于阈值的过滤机制，仅保留高相似度音视频对，舍弃低分连接。
• 以在线方式聚合选定正样本对的特征，以丰富判别性表征。
• 在完全监督设置中引入音视频对相似度损失，促使网络学习正样本对之间的高度相关特征。
• 在弱监督设置中设计一个加权分支，根据相关性为片段特征分配时间重要性分数。
• 使用双向 LSTM 配合 PSP 模块，以建模长程时间依赖性并优化跨模态表征。

实验结果

研究问题

• RQ1 过滤掉低相似度音视频对是否能提升 AVE 定位中学习特征的判别能力？
• RQ2 当音视频片段在时间上未对齐时，正样本传播对模型性能有何影响？
• RQ3 基于相似度的选择机制是否能优于包含所有片段对（包括弱相关对）的标准特征融合方法？
• RQ4 在完全监督设置中引入专用音视频对相似度损失是否能改善特征对齐？
• RQ5 在弱监督设置中，可学习的时间加权机制是否能通过强调相关片段来提升性能？

主要发现

• 所提出的 PSP 方法在 AVE 数据集上完全监督训练下达到 77.8% 的准确率，较之前 SOTA 提升 9.2 个百分点。
• 在弱监督设置下，该方法达到 73.5% 的准确率，较先前 SOTA 提升 6.8 个百分点。
• 可视化结果表明，PSP 仅选择性保留一小部分高相似度音视频连接，且这些连接与目标事件高度对齐。
• TSNE 可视化结果证实，经过 PSP 模块后，特征聚类显著改善，表明类间可分性更强且类内紧凑性更高。
• 与 AVEL 相比，所提方法即使在音视频信号未对齐时，也能关注更广泛且更相关的视觉区域，如同时关注煎锅和鸡肉。
• 尽管使用略低精度的主干网络，该方法仍优于近期 SOTA 模型 AGSCA，证明了 PSP 及系统设计的有效性。