[论文解读] On Attention Modules for Audio-Visual Synchronization

Naji Khosravan, Shervin Ardeshir+1 more|arXiv (Cornell University)|Dec 14, 2018

Music and Audio Processing参考文献 15被引用 4

一句话总结

本文提出时空注意力与时间注意力模块，通过聚焦于具有判别性的视觉区域（如嘴唇、发声物体）来提升视频中音视频同步检测的性能，同时忽略非信息性内容。该方法在准确率上达到当前最优水平，在通用声音类别上较基线模型提升9.8%，在语音类别上提升8.7%，采用时空注意力模块。

ABSTRACT

With the development of media and networking technologies, multimedia applications ranging from feature presentation in a cinema setting to video on demand to interactive video conferencing are in great demand. Good synchronization between audio and video modalities is a key factor towards defining the quality of a multimedia presentation. The audio and visual signals of a multimedia presentation are commonly managed by independent workflows - they are often separately authored, processed, stored and even delivered to the playback system. This opens up the possibility of temporal misalignment between the two modalities - such a tendency is often more pronounced in the case of produced content (such as movies). To judge whether audio and video signals of a multimedia presentation are synchronized, we as humans often pay close attention to discriminative spatio-temporal blocks of the video (e.g. synchronizing the lip movement with the utterance of words, or the sound of a bouncing ball at the moment it hits the ground). At the same time, we ignore large portions of the video in which no discriminative sounds exist (e.g. background music playing in a movie). Inspired by this observation, we study leveraging attention modules for automatically detecting audio-visual synchronization. We propose neural network based attention modules, capable of weighting different portions (spatio-temporal blocks) of the video based on their respective discriminative power. Our experiments indicate that incorporating attention modules yields state-of-the-art results for the audio-visual synchronization classification problem.

研究动机与目标

• 为解决多媒体内容中音频与视频之间的时间错位问题，特别是电影等专业制作视频中的错位问题。
• 开发神经网络模块，自动识别并加权最具判别性的时空视频块，以辅助同步判断。
• 通过模拟人类对相关视听线索的感知，利用注意力机制提升音视频同步的二分类性能。
• 评估注意力机制是否能在同步检测任务中超越标准卷积网络，提升模型性能。

提出的方法

• 使用同步与非同步的音视频对对完全卷积神经网络进行训练，以二元分类方式判断音视频是否同步。
• 时间注意力模块为视频的不同时间片段分配权重，突出显示具有高判别性内容的时刻（如语音或声音事件）。
• 时空注意力模块在此基础上，为每个时间片段内的特定空间区域（如人脸、物体）分配更高权重，实现更精细的聚焦。
• 注意力权重在训练过程中端到端学习，使网络能够根据音视频对齐线索动态优先关注信息丰富的视频块。
• 主干网络的特征图通过可学习的注意力机制处理，利用多层感知机计算软注意力权重。
• 最终预测通过在时间和空间维度上聚合加权特征实现，从而提升同步与非同步类别之间的决策边界分离效果。

实验结果

研究问题

• RQ1 注意力机制能否提升视频中音视频同步分类的准确率？
• RQ2 时空注意力是否优于仅时间注意力，在检测音视频对齐方面表现更优？
• RQ3 注意力模块是否帮助模型聚焦于人类所关注的判别性视觉线索（如嘴唇动作或物体交互）？
• RQ4 基于注意力的特征加权如何影响正样本（同步）与负样本（非同步）预测分布的分离？

主要发现

• 与基线网络相比，时空注意力模块在通用声音类别上实现了9.8%的绝对准确率提升。
• 在语音类别上，时空注意力模型达到80.3%的准确率，相较于时间注意力模块提升3.8%，较基线模型提升8.7%。
• 可视化结果表明，注意力模块能正确将高权重区域定位到判别性事件上，如鞋子敲击地面或说话者嘴唇与音频同步运动。
• 基于注意力的模型的预测分数分布显示，同步与非同步样本之间的分离效果优于基线模型，表明预测置信度更高。
• 仅使用时间注意力已能提升基线性能，但引入空间定位的时空注意力可带来显著的额外增益。
• 模型的注意力行为与人类感知一致，聚焦于时间与空间上局部化的音视频事件，同时抑制背景或非信息性内容。