[论文解读] Towards Diverse and Natural Image Descriptions via a Conditional GAN

Bo Dai, Sanja Fidler+2 more|arXiv (Cornell University)|Mar 17, 2017

Multimodal Machine Learning Applications参考文献 31被引用 108

一句话总结

论文引入了一个条件GAN框架（生成器和评估器）来生成多样的、自然且视觉上真实的图像描述，使用策略梯度和蒙特卡罗展开进行训练，并展示其与人类判断的一致性优于基于MLE的方法。

ABSTRACT

Despite the substantial progress in recent years, the image captioning techniques are still far from being perfect.Sentences produced by existing methods, e.g. those based on RNNs, are often overly rigid and lacking in variability. This issue is related to a learning principle widely used in practice, that is, to maximize the likelihood of training samples. This principle encourages high resemblance to the "ground-truth" captions while suppressing other reasonable descriptions. Conventional evaluation metrics, e.g. BLEU and METEOR, also favor such restrictive methods. In this paper, we explore an alternative approach, with the aim to improve the naturalness and diversity -- two essential properties of human expression. Specifically, we propose a new framework based on Conditional Generative Adversarial Networks (CGAN), which jointly learns a generator to produce descriptions conditioned on images and an evaluator to assess how well a description fits the visual content. It is noteworthy that training a sequence generator is nontrivial. We overcome the difficulty by Policy Gradient, a strategy stemming from Reinforcement Learning, which allows the generator to receive early feedback along the way. We tested our method on two large datasets, where it performed competitively against real people in our user study and outperformed other methods on various tasks.

研究动机与目标

• 在不仅关注保真度的前提下，通过提升自然性和多样性来改进图像描述。
• 学习一个在图像条件下产生多样化、接近人类的句子的生成器。
• 训练一个评估器，以区分自然/描述性句子与人工造句，从而指导生成。
• 提供一个能够生成单句和描述性段落的框架。
• 提供一个评估器，其与人类判断的相关性超过传统指标。

提出的方法

• 使用一个在图像特征 f(I) 和随机向量 z 条件下的生成器 G，实现为一个 LSTM 解码器。
• 使用一个评估器 E，将图像和句子表示进行嵌入，通过点积再经 sigmoid 对描述进行评分。
• 将目标函数 L(G,E) 设为极小极大问题，以优化语义相关性和自然度。
• 使用策略梯度训练 G，利用估计的未来期望回报 V，通过蒙特卡罗展开提供早期反馈。
• 通过分层 LSTM 将段落生成扩展，并配套分层评估器。
• 先用 MLE 对 G 进行预训练，并对 E 采用监督目标，然后在对抗循环中联合训练 G 与 E。
• 在评估时，束搜索使用来自 E 的期望回报而非似然度。

实验结果

研究问题

• RQ1 条件GAN框架是否能够产生比MLE训练基线更自然、更多样的图像描述？
• RQ2 对抗性评估器是否比传统的基于n-gram 的指标更接近人类判断？
• RQ3 与基于MLE的描述生成相比，所提方法在 COCO 和 Flickr30k 数据集上的表现如何？
• RQ4 通过分层方法，该框架是否能有效扩展到段落级描述？

主要发现

• G-MLE 在若干传统指标上比人类得分还高，凸显指标的局限性。
• G-GAN 常产生比 G-MLE 更自然和更丰富的描述，得到用户研究和定性结果的支持。
• E-GAN 和 E-NGAN 评估器与人类判断的相关性超过仅使用 BLEU/CIDEr/SPICE。
• 检索实验表明 G-GAN 生成的描述在区分并检索正确图像方面表现更佳（更高的 top-k 召回率）。
• 使用 GAN 框架训练的评估器在与人类评估的一致性方面比传统指标更高。
• 通过分层扩展的段落生成在多样性和自然性方面保持与单句结果类似。