[论文解读] Self-supervised pre-training and contrastive representation learning for multiple-choice video QA

Seonhoon Kim, Seohyeong Jeong+3 more|arXiv (Cornell University)|Sep 17, 2020

Multimodal Machine Learning Applications参考文献 33被引用 5

一句话总结

本文提出了一种用于多项选择视频问答的自监督预训练与对比表示学习框架。通过在预训练阶段将答案预测重新表述为问题检索，并应用监督对比损失（将真实答案视为正样本，其他选项视为负样本），该模型在 TVQA、TVQA+ 和 DramaQA 上实现了最先进性能，使用局部对齐注意力和辅助训练信号时，在 TVQA+ 验证集上达到 75.83% 的准确率。

ABSTRACT

Video Question Answering (Video QA) requires fine-grained understanding of both video and language modalities to answer the given questions. In this paper, we propose novel training schemes for multiple-choice video question answering with a self-supervised pre-training stage and a supervised contrastive learning in the main stage as an auxiliary learning. In the self-supervised pre-training stage, we transform the original problem format of predicting the correct answer into the one that predicts the relevant question to provide a model with broader contextual inputs without any further dataset or annotation. For contrastive learning in the main stage, we add a masking noise to the input corresponding to the ground-truth answer, and consider the original input of the ground-truth answer as a positive sample, while treating the rest as negative samples. By mapping the positive sample closer to the masked input, we show that the model performance is improved. We further employ locally aligned attention to focus more effectively on the video frames that are particularly relevant to the given corresponding subtitle sentences. We evaluate our proposed model on highly competitive benchmark datasets related to multiple-choice video QA: TVQA, TVQA+, and DramaQA. Experimental results show that our model achieves state-of-the-art performance on all datasets. We also validate our approaches through further analyses.

研究动机与目标

• 通过新颖的训练方案提升模型初始化与表示学习，以改进多项选择视频问答。
• 解决细粒度视频与语言理解的挑战，且无需额外标注或数据。
• 探索自监督预训练与对比学习联合应用在视频问答基准上提升性能的潜力。
• 研究局部对齐注意力在对齐字幕与相关视频帧以提升推理能力方面的有效性。
• 验证辅助损失（对比学习与跨度预测）对模型泛化能力与准确率的影响。

提出的方法

• 在自监督预训练阶段将视频问答任务重新表述为：根据视频和字幕上下文预测正确的问题，从而在无需额外标注的情况下实现更广泛的上下文学习。
• 在主训练阶段应用监督对比学习损失，将真实答案视为正样本，其他选项视为负样本。
• 在对比学习中对真实答案使用掩码输入，以原始输入作为正样本锚点，从而促进表示对齐。
• 引入一种局部对齐注意力机制，计算字幕句子与时间上相邻视频帧之间的注意力分数，以改善模态对齐。
• 采用多任务学习设置，除主要问答损失外，还引入对比损失和可选的跨度损失作为辅助损失。
• 利用预训练视觉特征（ResNet-101）和目标检测结果（Faster R-CNN），结合基于 BERT 的文本编码器，实现视频-语言表示的联合学习。

实验结果

研究问题

• RQ1 在自监督预训练阶段将答案预测转化为问题检索，是否能改善模型初始化与下游性能？
• RQ2 应用将正负答案表示分离的监督对比损失，是否能增强多项选择视频问答中的推理能力？
• RQ3 局部对齐注意力与全局对齐注意力相比，在对齐字幕与相关视频帧方面表现如何？
• RQ4 辅助损失（对比学习与跨度）在多大程度上促进了视频问答基准上的性能提升？
• RQ5 当应用对比损失时，表示空间在训练过程中如何演变，特别是在正负样本分离方面？

主要发现

• 所提模型在 TVQA+ 验证集上实现了 75.83% 的最先进准确率，优于先前方法。
• 使用掩码输入的对比学习使准确率从 74.54% 提升至 75.16%，证明其作为辅助训练信号的有效性。
• 采用局部对齐注意力的模型优于使用全局对齐注意力的模型，表明模态对齐得到改善，且来自无关帧-字幕对的噪声减少。
• 对比损失导致正样本与最近邻负样本表示之间的距离在训练过程中明显增加，证实了更好的表示分离。
• 定性分析显示，模型能正确识别相关视频片段，并将语言线索（如 'moving out' 与 'officially no longer be roommates'）正确对齐，而基线模型因关注 'door' 等无关关键词而失败。
• 自监督预训练后接对比微调的策略表现最佳，验证了两个阶段的互补优势。