[论文解读] TriBERT: Full-body Human-centric Audio-visual Representation Learning for Visual Sound Separation

Tanzila Rahman, Mengyu Yang+1 more|arXiv (Cornell University)|Oct 26, 2021

Speech and Audio Processing被引用 10

一句话总结

TriBERT 是一种三模态 Transformer 架构，通过交叉注意力机制联合学习视觉、音频和人体姿态关键点流的上下文表征。在 MUSIC21 数据集上使用弱监督和声源分离目标进行预训练后，其在音频-视觉声源分离任务中达到最先进性能，并在下游任务（如跨模态音频-视觉-姿态检索）中将 top-1 准确率最高提升 66.7%。

ABSTRACT

The recent success of transformer models in language, such as BERT, has motivated the use of such architectures for multi-modal feature learning and tasks. However, most multi-modal variants (e.g., ViLBERT) have limited themselves to visual-linguistic data. Relatively few have explored its use in audio-visual modalities, and none, to our knowledge, illustrate them in the context of granular audio-visual detection or segmentation tasks such as sound source separation and localization. In this work, we introduce TriBERT -- a transformer-based architecture, inspired by ViLBERT, which enables contextual feature learning across three modalities: vision, pose, and audio, with the use of flexible co-attention. The use of pose keypoints is inspired by recent works that illustrate that such representations can significantly boost performance in many audio-visual scenarios where often one or more persons are responsible for the sound explicitly (e.g., talking) or implicitly (e.g., sound produced as a function of human manipulating an object). From a technical perspective, as part of the TriBERT architecture, we introduce a learned visual tokenization scheme based on spatial attention and leverage weak-supervision to allow granular cross-modal interactions for visual and pose modalities. Further, we supplement learning with sound-source separation loss formulated across all three streams. We pre-train our model on the large MUSIC21 dataset and demonstrate improved performance in audio-visual sound source separation on that dataset as well as other datasets through fine-tuning. In addition, we show that the learned TriBERT representations are generic and significantly improve performance on other audio-visual tasks such as cross-modal audio-visual-pose retrieval by as much as 66.7% in top-1 accuracy.

研究动机与目标

• 为解决缺乏整合视觉、音频和人体姿态的多模态表征学习模型的问题，以支持如声源分离等细粒度音频-视觉任务。
• 开发一种通用的、上下文感知的表征学习框架，支持迁移至分离任务之外的多样化音频-视觉任务。
• 探索姿态关键点表征作为音频-视觉学习中一种模态的有效性，特别是在以人类为中心的声音事件中。
• 克服先前方法依赖单声源假设或浅层融合的局限，通过实现分层、上下文感知的跨模态注意力机制。
• 证明基于 Transformer 的多流联合注意力机制在分离与检索基准测试中可超越现有架构。

提出的方法

• TriBERT 采用三流 Transformer 架构，通过联合注意力模块联合建模视觉、音频和姿态关键点模态。
• 提出一种基于空间注意力的可学习视觉标记化方案，替代固定的帧级特征。
• 使用弱监督目标实现跨模态交互，而无需依赖单声源假设。
• 引入频谱图掩码预测任务作为预训练目标，以增强任务特定的特征学习能力。
• 在大规模 MUSIC21 数据集上使用单模态分类与声源分离目标的组合进行模型预训练。
• 交叉注意力机制在预训练和微调阶段均实现动态、上下文感知的跨三模态特征融合。

实验结果

研究问题

• RQ1 基于 Transformer 的模型若能同时关注视觉、音频和姿态关键点模态，是否可提升音频-视觉声源分离任务的性能？
• RQ2 将人体姿态作为模态引入，是否能提升与声音相关任务的表征质量，特别是在以人类为中心的场景中？
• RQ3 TriBERT 学习到的表征能否泛化至分离任务之外的其他音频-视觉任务，如跨模态检索？
• RQ4 与现有方法相比，TriBERT 的架构（包括可学习视觉标记化和弱监督目标）在性能与鲁棒性方面表现如何？
• RQ5 三模态联合注意力机制在多模态间学习语义上合理且对齐的表征方面，其贡献程度如何？

主要发现

• 在微调后，TriBERT 在 MUSIC21 数据集上的音频-视觉声源分离任务中达到最先进性能。
• 与基线方法相比，TriBERT 在跨模态音频-视觉-姿态检索任务中的 top-1 准确率最高提升 66.7%。
• 使用 TriBERT 嵌入进行检索，在所有五种检索变体中均显著优于预 Transformer 特征和随机选择。
• 尽管参数量更大，vision+audio → pose 检索变体的表现仍逊于 audio → pose 变体，表明模态组合与架构设计对性能有决定性影响。
• 定性结果表明，TriBERT 表征学习到了语义上有意义的关系，例如在 top-5 结果中能正确检索出同类乐器。
• 将频谱图掩码预测作为预训练目标，增强了模型学习任务特定、上下文感知特征的能力。