[论文解读] Video Captioning with Guidance of Multimodal Latent Topics

Shizhe Chen, Jia Chen+2 more|arXiv (Cornell University)|Aug 31, 2017

Multimodal Machine Learning Applications参考文献 37被引用 7

一句话总结

该论文提出M&M TGM，一种统一的视频字幕生成框架，通过无监督方式从视频-句子对中发现多模态潜在主题，并利用这些主题指导一种主题感知解码器，从而生成更准确、更详细的描述。通过多任务学习联合训练主题预测任务和字幕生成任务，该模型在MSR-VTT和YouTube2Text数据集上实现了最先进性能，同时提升了泛化能力，并生成了更丰富、更具主题特异性的描述。

ABSTRACT

The topic diversity of open-domain videos leads to various vocabularies and linguistic expressions in describing video contents, and therefore, makes the video captioning task even more challenging. In this paper, we propose an unified caption framework, M&M TGM, which mines multimodal topics in unsupervised fashion from data and guides the caption decoder with these topics. Compared to pre-defined topics, the mined multimodal topics are more semantically and visually coherent and can reflect the topic distribution of videos better. We formulate the topic-aware caption generation as a multi-task learning problem, in which we add a parallel task, topic prediction, in addition to the caption task. For the topic prediction task, we use the mined topics as the teacher to train a student topic prediction model, which learns to predict the latent topics from multimodal contents of videos. The topic prediction provides intermediate supervision to the learning process. As for the caption task, we propose a novel topic-aware decoder to generate more accurate and detailed video descriptions with the guidance from latent topics. The entire learning procedure is end-to-end and it optimizes both tasks simultaneously. The results from extensive experiments conducted on the MSR-VTT and Youtube2Text datasets demonstrate the effectiveness of our proposed model. M&M TGM not only outperforms prior state-of-the-art methods on multiple evaluation metrics and on both benchmark datasets, but also achieves better generalization ability.

研究动机与目标

• 为解决开放域视频字幕生成中主题多样性的问题，即视频涵盖多种主题，具有不同的词汇和语言风格。
• 自动从视频-句子对中发现语义和视觉上一致的潜在主题，无需人工标注。
• 利用预测的潜在主题指导视频字幕生成，以实现更准确、更详细、更具主题特异性的描述。
• 通过端到端多任务学习联合优化主题预测和字幕生成，以提升模型性能和泛化能力。

提出的方法

• 一种多模态主题挖掘方法利用视觉和文本特征从视频-句子对中发现潜在主题，生成语义和视觉上一致的主题。
• 一种教师-学生学习框架利用多模态视频特征预测潜在主题，其中教师使用挖掘出的主题，学生则从视频内容中学习预测这些主题。
• 一种新颖的主题感知解码器根据预测的主题动态调整其内部权重，实现在不为每个主题设置独立解码器的情况下生成主题特定的句子。
• 多任务学习联合优化字幕生成损失和主题预测损失，增强主题发现与描述生成之间的耦合性。
• 整个模型端到端训练，实现主题预测和句子生成的联合优化，共享参数和特征。

实验结果

研究问题

• RQ1 如何在无监督方式下自动从视频-句子对中发现潜在主题，以反映开放域视频的语义和视觉多样性？
• RQ2 如何有效利用预测的潜在主题来指导视频字幕生成，以提升准确性和细节？
• RQ3 联合优化主题预测和字幕生成性能的最优训练方式是什么？
• RQ4 主题感知解码器是否能在保持性能的同时，相比主题专用解码器更具计算效率和数据效率？

主要发现

• M&M TGM在MSR-VTT和YouTube2Text两个数据集上的多个指标（包括BLEU-4、METEOR、ROUGE-L和CIDEr）上均优于先前最先进方法。
• 在MSR-VTT上，模型的CIDEr得分达到108.9，显著高于基线模型，且在50个主题时达到最优性能。
• 在YouTube2Text上，模型在使用干净专家定义的主题时，CIDEr得分为82.79，相比噪声主题版本提升了9.5分。
• 与基线模型相比，该模型生成了493个唯一词汇，而基线模型仅生成391个，表明主题引导显著提升了词汇的丰富性和多样性。
• 当λ > 0时，多任务学习始终优于单任务学习，表明对超参数选择具有鲁棒性。
• 定性分析表明，M&M TGM生成的描述更准确、更详细，尤其在区分相似概念（如足球与橄榄球、折纸与折纸飞机）方面表现更优。