[论文解读] Review Networks for Caption Generation

Zhilin Yang, Ye Yuan+3 more|arXiv (Cornell University)|May 25, 2016

Multimodal Machine Learning Applications参考文献 15被引用 84

一句话总结

本文提出了回顾网络（review network），这是一种对编码器-解码器框架的新型扩展，通过在编码器隐藏状态上执行多轮回顾步骤来增强注意力机制，从而生成思想向量。这些思想向量捕捉了输入的全局、抽离式表征，显著提升了图像字幕生成与源代码字幕生成任务的性能，超越了标准注意力编码器-解码器模型。

ABSTRACT

We propose a novel extension of the encoder-decoder framework, called a review network. The review network is generic and can enhance any existing encoder- decoder model: in this paper, we consider RNN decoders with both CNN and RNN encoders. The review network performs a number of review steps with attention mechanism on the encoder hidden states, and outputs a thought vector after each review step; the thought vectors are used as the input of the attention mechanism in the decoder. We show that conventional encoder-decoders are a special case of our framework. Empirically, we show that our framework improves over state-of- the-art encoder-decoder systems on the tasks of image captioning and source code captioning.

研究动机与目标

• 解决标准编码器-解码器中顺序注意力的局限性，后者缺乏对未来注意力状态和全局上下文的感知。
• 以端到端方式将判别性监督整合到生成过程中，以提升字幕质量。
• 开发一种通用架构，在无需对现有编码器-解码器模型进行整体架构重构的前提下提升其性能。
• 通过将思想向量作为辅助预测头（如词语出现预测）的输入，实现多任务学习。

提出的方法

• 对编码器隐藏状态应用多轮回顾步骤，结合注意力机制，生成一系列思想向量。
• 将思想向量作为解码器注意力机制的输入，替代或补充上下文向量。
• 将回顾过程形式化为循环操作：在每一步中，通过在编码器状态上计算注意力来生成思想向量。
• 在变体中允许编码器与解码器之间的权重共享，以减少参数量并提升泛化能力。
• 将思想向量整合到多任务学习设置中，其中辅助头用于预测判别性信号（如字幕中的词语）。
• 对图像字幕生成任务使用CNN编码器，对代码字幕生成任务使用RNN编码器，均搭配RNN解码器和基于注意力的生成机制。

实验结果

研究问题

• RQ1 在编码器状态上通过多轮注意力回顾是否能改善编码器-解码器模型的全局上下文建模能力？
• RQ2 回顾网络生成的抽离式、紧凑思想向量在多大程度上提升了字幕生成质量？
• RQ3 思想向量能否以端到端方式有效支持多任务学习，例如预测字幕中的词语出现？
• RQ4 回顾网络在图像字幕与源代码字幕生成任务中是否优于标准注意力编码器-解码器？
• RQ5 回顾网络是否比传统注意力编码器-解码器具有更强的表达能力？

主要发现

• 回顾网络在图像字幕生成任务中达到当前最优性能，超越标准注意力编码器-解码器模型。
• 在HabeasCorpus数据集上，回顾网络将对数似然从-5.14（注意力编码器-解码器）提升至-5.06，表明语言建模能力更强。
• 在源代码字幕生成任务中，回顾网络实现38.40%的字符节省率（CS-5），优于最佳基线模型（36.51%），提升超过1.8个百分点。
• 思想向量捕捉了全局与抽离式特征，如运动、相对位置、数量和场景上下文，甚至包括最终字幕中未出现的对象。
• 回顾网络严格优于标准注意力编码器-解码器，因为后者是前者的一个特例。
• 该模型在图像字幕与源代码字幕任务中均持续提升性能，展现出广泛的适用性。