[论文解读] Non-Autoregressive Video Captioning with Iterative Refinement

Bang Yang, Fenglin Liu+1 more|arXiv (Cornell University)|Nov 27, 2019

Multimodal Machine Learning Applications被引用 6

一句话总结

该论文提出了一种具有迭代优化的非自回归视频字幕模型，通过首先捕捉关键视觉特征，再并行生成连贯且多样化的字幕，模仿人类字幕生成过程，显著提升了推理速度。通过整合外部辅助评分以指导词级别优化，该方法在仅损失5%性能的情况下，实现了优于自回归模型的字幕质量和多样性。

ABSTRACT

Existing state-of-the-art autoregressive video captioning methods (ARVC) generate captions sequentially, which leads to low inference efficiency. Moreover, the word-by-word generation process does not fit human intuition of comprehending video contents (i.e., first capturing the salient visual information and then generating well-organized descriptions), resulting in unsatisfied caption diversity. In order to press close to the human manner of comprehending video contents and writing captions, this paper proposes a non-autoregressive video captioning (NAVC) model with iterative refinement. We then further propose to exploit external auxiliary scoring information to assist the iterative refinement process, which can help the model focus on the inappropriate words more accurately. Experimental results on two mainstream benchmarks, i.e., MSVD and MSR-VTT, show that our proposed method generates more felicitous and diverse captions with a generally faster decoding speed, at the cost of up to 5% caption quality compared with the autoregressive counterpart. In particular, the proposal of using auxiliary scoring information not only improves non-autoregressive performance by a large margin, but is also beneficial for the caption diversity.

研究动机与目标

• 为解决自回归视频字幕（ARVC）方法逐字生成所导致的效率低下和多样性不足问题。
• 开发一种非自回归方法，通过先提取关键视觉内容再生成描述，更好地符合人类直觉。
• 通过迭代优化提升字幕质量和多样性，避免自回归模型的序列生成瓶颈。
• 探索利用外部辅助评分引导优化，重点修正不恰当或低质量的词语。
• 在保持与最先进自回归模型相当性能的同时，实现更快的推理速度。

提出的方法

• 提出一种非自回归视频字幕框架，将视觉特征提取与字幕生成解耦，支持并行解码。
• 引入一种迭代优化机制，通过多步逐步修正预测结果，提升流畅性和准确性。
• 整合外部辅助评分（如预训练模型或语言学指标），以识别次优词语并进行针对性优化。
• 将评分信号作为软注意力掩码，优先优化可能错误或不够流畅的词语。
• 采用多阶段训练策略，使模型学习使用真实字幕和预测字幕进行优化。
• 利用对比学习或类似技术，使优化后的输出与参考字幕对齐，同时保持多样性。

实验结果

研究问题

• RQ1 具有迭代优化的非自回归视频字幕模型是否能生成比自回归模型更丰富多样且更流畅的字幕？
• RQ2 外部辅助评分的引入是否能提升非自回归字幕中词级别优化的准确性和效率？
• RQ3 迭代优化在多大程度上能缩小非自回归与自回归字幕模型之间的性能差距？
• RQ4 该模型的推理速度与自回归基线相比如何，同时保持高字幕质量？
• RQ5 辅助评分能否在不降低整体性能的前提下提升字幕多样性？

主要发现

• 由于采用并行解码和非自回归生成，该方法的推理速度显著快于自回归基线。
• 字幕多样性得到显著提升，尤其在使用辅助评分时，得益于更优的词级别修正和重复减少。
• 模型保持了高水平的字幕质量，在MSVD和MSR-VTT数据集上仅比最先进自回归模型低5%的性能。
• 辅助评分的使用在非自回归字幕中带来显著性能提升，尤其在修正低置信度或错误词语方面效果显著。
• 迭代优化使模型能通过多步逐步优化预测，生成更连贯且上下文准确的字幕。
• 在自动指标和人工评估中，该方法在字幕质量和多样性方面均优于现有非自回归模型。