[论文解读] Non-Autoregressive Coarse-to-Fine Video Captioning

Bang Yang, Yuexian Zou+2 more|arXiv (Cornell University)|Nov 27, 2019

Multimodal Machine Learning Applications被引用 6

一句话总结

该论文提出了一种非自回归的粗粒度到细粒度视频字幕模型，通过首先并行生成视觉词（名词和动词）形成粗粒度的“模板”，随后利用专用解码算法进行迭代优化，从而在提升推理速度的同时改善字幕质量。该方法在MSVD和MSR-VTT基准测试中实现了最先进性能，推理速度比自回归模型快3.2倍，且在多样性与流畅性方面表现更优。

ABSTRACT

It is encouraged to see that progress has been made to bridge videos and natural language. However, mainstream video captioning methods suffer from slow inference speed due to the sequential manner of autoregressive decoding, and prefer generating generic descriptions due to the insufficient training of visual words (e.g., nouns and verbs) and inadequate decoding paradigm. In this paper, we propose a non-autoregressive decoding based model with a coarse-to-fine captioning procedure to alleviate these defects. In implementations, we employ a bi-directional self-attention based network as our language model for achieving inference speedup, based on which we decompose the captioning procedure into two stages, where the model has different focuses. Specifically, given that visual words determine the semantic correctness of captions, we design a mechanism of generating visual words to not only promote the training of scene-related words but also capture relevant details from videos to construct a coarse-grained sentence "template". Thereafter, we devise dedicated decoding algorithms that fill in the "template" with suitable words and modify inappropriate phrasing via iterative refinement to obtain a fine-grained description. Extensive experiments on two mainstream video captioning benchmarks, i.e., MSVD and MSR-VTT, demonstrate that our approach achieves state-of-the-art performance, generates diverse descriptions, and obtains high inference efficiency. Our code is available at https://github.com/yangbang18/Non-Autoregressive-Video-Captioning.

研究动机与目标

• 为解决自回归视频字幕模型因顺序解码导致的推理速度缓慢问题。
• 通过聚焦于训练中常被低估的视觉锚定词（如名词和动词）来提升字幕质量。
• 通过两阶段粗粒度到细粒度的字幕生成过程，克服非自回归模型在捕捉语义正确性与流畅性方面的局限。
• 通过一种支持词级别优化的新解码范式，实现实时、多样且准确的字幕生成。

提出的方法

• 使用双向自注意力语言模型并结合掩码语言建模进行训练，以实现任意词子集的并行预测。
• 引入视觉词生成机制，首先预测关键视觉词（名词和动词），以形成粗粒度的句子模板。
• 采用两阶段解码过程：首先用适当词汇填充模板，然后对低置信度或错误词汇进行迭代优化。
• 应用自适应解码算法（如CT-MP、CT-EF和CT-L2R），实现对生成质量较差词汇的动态重预测，以提升流畅性与相关性。
• 利用掩码语言建模目标，实现在保持强上下文依赖关系的同时实现非自回归生成。
• 使用专门设计的损失函数，在训练过程中强调视觉词的准确性，以增强语义锚定能力。

实验结果

研究问题

• RQ1 非自回归解码能否在不牺牲字幕质量的前提下实现高速推理？
• RQ2 优先生成视觉词的粗粒度到细粒度方法是否能生成更准确且更多样化的字幕？
• RQ3 对低置信度词汇的迭代优化能否提升非自回归字幕的流畅性与细节捕捉能力？
• RQ4 与自回归及标准非自回归基线相比，所提方法在速度、准确率与多样性方面表现如何？

主要发现

• NACF模型在MSVD和MSR-VTT上均达到最先进性能，CIDEr-D分数分别为114.4和42.47，优于先前方法。
• 在MSR-VTT上，NACF实现51.8%的词汇使用率与51.4%的新词率，表明其字幕具有强多样性。
• 在MSVD上，NACF的推理速度最高可达自回归模型（如AR-B with B=5）的3.2倍，且性能无下降。
• CT-MP与CT-EF解码算法显著优于CT-L2R，证明自适应生成相比单调生成更具必要性。
• 定性结果表明，NACF在捕捉关键视觉元素（如“roof”、“lab”、“spongebob”）方面优于自回归与非自回归基线模型。
• 失败案例多与视觉词生成不足有关，表明提升视觉词预测能力可进一步增强模型性能。