[论文解读] Towards Diverse and Accurate Image Captions via Reinforcing Determinantal Point Process

Qingzhong Wang, Antoni B. Chan|arXiv (Cornell University)|Aug 14, 2019

Multimodal Machine Learning Applications参考文献 29被引用 7

一句话总结

本文提出了一种新型方法——强化确定性点过程（R-DPP），将强化学习与确定性点过程相结合，以生成多样且准确的图像字幕。通过最大化一种基于DPP的度量，该度量平衡了字幕质量（CIDEr）与字幕间多样性，R-DPP在基线强化学习模型的基础上，同时提升了多样性和准确性，在oracle测试集上实现了最先进性能，并支持生成高质量的束搜索输出。

ABSTRACT

Although significant progress has been made in the field of automatic image captioning, it is still a challenging task. Previous works normally pay much attention to improving the quality of the generated captions but ignore the diversity of captions. In this paper, we combine determinantal point process (DPP) and reinforcement learning (RL) and propose a novel reinforcing DPP (R-DPP) approach to generate a set of captions with high quality and diversity for an image. We show that R-DPP performs better on accuracy and diversity than using noise as a control signal (GANs, VAEs). Moreover, R-DPP is able to preserve the modes of the learned distribution. Hence, beam search algorithm can be applied to generate a single accurate caption, which performs better than other RL-based models.

研究动机与目标

• 为解决基于强化学习的图像字幕模型中缺乏多样性的问题，这些模型往往为追求CIDEr等质量度量而牺牲字幕变化性。
• 开发一种统一的训练目标，同时优化字幕质量与字幕间多样性，而无需依赖辅助噪声或控制信号。
• 保留真实字幕分布的模式，使束搜索能够生成高质量的单一字幕。
• 在多样性和准确性方面均超越现有多样化字幕生成方法，尤其在oracle评估设置下表现更优。

提出的方法

• 提出一种新的基于DPP的度量，将CIDEr得分（质量）与字幕间的余弦相似度（多样性）整合为单一行列式目标。
• 使用强化学习最大化L-集合矩阵的行列式，该矩阵通过正半定矩阵L对质量和多样性进行建模。
• 采用可微分的DPP推理机制，通过策略梯度实现端到端的字幕模型训练。
• 引入超参数m（训练期间采样的字幕数量），以控制多样性和准确性之间的权衡。
• 对R-DPP模型应用束搜索，以生成单一高质量字幕，利用模型保留分布模式的能力。
• 使用基于CIDEr的奖励进行策略梯度强化学习训练，同时通过DPP组件实现行列式最大化以确保多样性。

实验结果

研究问题

• RQ1 能否设计一种强化学习框架，无需依赖噪声或辅助控制信号，即可联合优化字幕质量和多样性？
• RQ2 与标准强化学习基线相比，最大化DPP结构矩阵的行列式是否能带来更好的字幕多样性和质量？
• RQ3 R-DPP模型是否能保留真实字幕分布的模式，从而支持束搜索生成更优的单一字幕？
• RQ4 训练期间采样字幕数量（m）如何影响最终输出中多样性和准确性的平衡？
• RQ5 R-DPP是否在标准和oracle评估基准上均优于最先进多样化字幕生成模型？

主要发现

• 在oracle测试集上，当采样20个字幕（m=5）时，R-DPP的CIDEr得分为1.700，优于所有对比方法，包括XE+20CIDEr和SCST。
• 当m=5时，R-DPP在采样20个字幕后，CIDEr得分为0.527，多样性得分为0.405，显著优于SCST（CIDEr：1.114），在保持高多样性的同时提升了准确性。
• 当m=2时，R-DPP将多样性得分从约0.2提升至约0.4（翻倍），同时将CIDEr从1.114提升至1.222。
• 即使在束搜索设置下，该模型仍能保持高质量的字幕生成能力，生成的单一字幕CIDEr得分为1.222，高于基线Att2in-XE和SCST模型。
• 在oracle测试中，将m从2增加到5，CIDEr从1.563提升至1.700；但进一步增加m（至7）导致性能轻微下降，表明最优m值约为5。
• R-DPP在多样性方面与XE+λCIDEr相当，但准确性显著更高，展现出质量与多样性之间更优的平衡。