[论文解读] Watch, Listen, and Describe: Globally and Locally Aligned Cross-Modal Attentions for Video Captioning

Xin Wang, Yuan-Fang Wang+1 more|arXiv (Cornell University)|Apr 15, 2018

Multimodal Machine Learning Applications参考文献 24被引用 15

一句话总结

该论文提出了一种新颖的分层对齐跨模态注意力（HACA）框架，用于视频字幕生成，通过分层注意力机制联合建模并融合视觉与音频模态中的全局和局部时序动态。该方法在MSR-VTT数据集上实现了最先进性能，显著优于先前方法，尤其在BLEU-4（+43.4）和METEOR（+29.5）指标上提升显著，并首次验证了深度音频特征（VGGish）相较于传统MFCC的优越性。

ABSTRACT

A major challenge for video captioning is to combine audio and visual cues. Existing multi-modal fusion methods have shown encouraging results in video understanding. However, the temporal structures of multiple modalities at different granularities are rarely explored, and how to selectively fuse the multi-modal representations at different levels of details remains uncharted. In this paper, we propose a novel hierarchically aligned cross-modal attention (HACA) framework to learn and selectively fuse both global and local temporal dynamics of different modalities. Furthermore, for the first time, we validate the superior performance of the deep audio features on the video captioning task. Finally, our HACA model significantly outperforms the previous best systems and achieves new state-of-the-art results on the widely used MSR-VTT dataset.

研究动机与目标

• 为解决视频字幕生成中多模态间缺乏时序结构建模，尤其是在不同粒度下的问题。
• 通过学习视觉与音频特征之间的全局与局部对齐，改进多模态融合。
• 验证深度音频嵌入（VGGish）相较于手工设计特征（MFCC）在视频字幕中的有效性。
• 开发统一框架，实现在不同模态间选择性地进行分层注意力，以提升句子生成质量。

提出的方法

• HACA框架使用两个分层注意力编码器——分别处理视觉和音频特征——每个编码器通过堆叠LSTM学习局部与全局表示。
• 采用两个解码器：全局解码器用于对齐高层模态上下文，局部解码器用于将局部特征与全局上下文融合以预测词语。
• 在全局与局部两个层级应用跨模态注意力，以在解码过程中动态关注相关的视觉与音频线索。
• 模型使用预训练的ResNet和VGGish网络提取深层视觉与音频嵌入，替代传统的MFCC。
• 分层注意力机制通过在不同粒度层级上关注模态中的显著时序片段，实现选择性融合。
• 该框架通过监督学习进行训练，推理时采用束搜索（beam search），并可扩展以支持额外模态，如光流或C3D特征。

实验结果

研究问题

• RQ1 同时建模视觉与音频模态中的全局与局部时序动态，是否能提升视频字幕生成性能？
• RQ2 在视频字幕中，使用深度音频嵌入（VGGish）是否能带来优于手工特征（MFCC）的生成性能？
• RQ3 分层跨模态注意力在不同时间粒度层级上对齐与融合多模态表示方面，效果如何？
• RQ4 一种结合全局与局部上下文学习的统一注意力机制，是否能超越仅使用单一层级注意力的模型？

主要发现

• HACA模型在MSR-VTT数据集上达到新的SOTA，BLEU-4得分为43.4，较之前最佳方法（CIDEnt-RL）高出2.9分。
• 模型将METEOR得分提升至29.5，较之前最佳的28.4有显著提升，表明生成句子在流畅性与语义对齐方面更优。
• 使用深度VGGish音频特征后，CIDEr得分从MFCC的47.5提升至48.2，证明其在视频字幕任务中优于MFCC。
• 消融实验表明，若移除对齐机制（HACA w/o align），性能显著下降，验证了分层跨模态注意力的重要性。
• 学习曲线显示，HACA收敛更快，且验证CIDEr得分高于CM-ATT与HACA w/o align，表明其模型容量更强。
• 与仅使用视觉特征的基线模型ATT(v)相比，HACA在CIDEr上提升了4.8%，凸显了音频模态融合的价值。