[论文解读] Not All Words are Equal: Video-specific Information Loss for Video Captioning

Jiarong Dong, Ke Gao+4 more|arXiv (Cornell University)|Jan 1, 2019

Multimodal Machine Learning Applications参考文献 26被引用 3

一句话总结

本文提出信息损失（Information Loss），一种新颖的学习策略，通过基于词重要性的动态调整交叉熵损失大小，平衡信息相关性与内容，以减少视频字幕生成中对常见词汇的偏见。结合层次注意力机制与多层级视觉特征，该方法实现了最先进性能，在MSVD数据集上CIDEr提升18.2%（达到87.5），在MSR-VTT上提升47.7。

ABSTRACT

An ideal description for a given video should fix its gaze on salient and representative content, which is capable of distinguishing this video from others. However, the distribution of different words is unbalanced in video captioning datasets, where distinctive words for describing video-specific salient objects are far less than common words such as 'a' 'the' and 'person'. The dataset bias often results in recognition error or detail deficiency of salient but unusual objects. To address this issue, we propose a novel learning strategy called Information Loss, which focuses on the relationship between the video-specific visual content and corresponding representative words. Moreover, a framework with hierarchical visual representations and an optimized hierarchical attention mechanism is established to capture the most salient spatial-temporal visual information, which fully exploits the potential strength of the proposed learning strategy. Extensive experiments demonstrate that the ingenious guidance strategy together with the optimized architecture outperforms state-of-the-art video captioning methods on MSVD with CIDEr score 87.5, and achieves superior CIDEr score 47.7 on MSR-VTT. We also show that our Information Loss is generic which improves various models by significant margins.

研究动机与目标

• 解决视频字幕数据集中词频分布不均衡的问题，即常见词汇主导训练损失。
• 通过聚焦于信息丰富、罕见的词汇来减少对独特、视频特定对象的识别错误与细节缺失。
• 开发一种通用训练策略，在不修改网络架构的前提下提升多种模型的性能。
• 通过优化损失函数与注意力机制，强调显著视觉内容，从而提升视频字幕质量。

提出的方法

• 提出信息损失（Information Loss），一种基于词重要性动态重加权的损失函数，其重要性定义为信息相关性与信息量的乘积。
• 将信息相关性计算为词嵌入与视频整体语义表征之间的余弦相似度。
• 将信息量定义为词频的倒数，使罕见词汇获得更高权重，以强调其区分性价值。
• 将信息损失集成至层次注意力机制中，该机制同时处理帧级与视频级视觉特征，以提升时空表征能力。
• 采用两层LSTM架构结合层次注意力机制，跨时空聚合显著视觉特征。
• 通过两个超参数优化损失：γ（控制相关性与信息量之间的平衡）和λ（控制损失加权强度）。

实验结果

研究问题

• RQ1 视频字幕数据集中词频不平衡如何影响模型对罕见、显著视觉概念的性能表现？
• RQ2 一种优先关注独特、信息丰富词汇的动态损失函数，能否提升字幕质量并减少歧义？
• RQ3 信息损失在不修改网络架构的前提下，能在多大程度上提升不同视频字幕模型的性能？
• RQ4 层次化视觉表征与注意力机制在多大程度上增强了模型关注显著视频内容的能力？
• RQ5 在损失函数中平衡相关性与信息量时，哪些超参数设置（γ与λ）能取得最优性能？

主要发现

• 所提出的HA_IL模型在MSVD数据集上达到87.5的CIDEr分数，相较于先前最先进方法相对提升18.2%。
• 在MSR-VTT数据集上，该模型达到47.7的CIDEr分数，尽管使用了更少的视觉特征，仍展现出强大的泛化能力。
• 定性分析表明，该方法显著降低了描述歧义，例如在示例中能正确识别罕见动作如“扣篮”（'slam dunk'）与“裂开”（'cracking'）。
• 信息损失具有通用性：其性能在多种基础模型上均得到提升，包括使用不同注意力机制与特征类型的模型。
• 消融实验确认，当γ=2且λ=0.5时性能最优，能有效平衡重要性计算中的相关性与信息量。
• 可视化结果表明，模型能有效聚焦于各帧中的显著视觉区域，即使目标物体较小或距离较远。