[论文解读] Neural Baby Talk

Jiasen Lu, Jianwei Yang+2 more|arXiv (Cornell University)|Mar 27, 2018

Multimodal Machine Learning Applications参考文献 44被引用 27

一句话总结

本文提出了一种神经图像字幕框架，通过将目标检测器输出与可微分的句子模板相结合，生成具有视觉基础且自然流畅的字幕。通过端到端训练一个将语言槽与检测到的视觉实体关联的模型，该方法在 COCO 和 Flickr30k 数据集上实现了标准字幕和新对象字幕任务的最先进性能，尤其在训练与测试场景分布差异较大的情况下表现更优。

ABSTRACT

We introduce a novel framework for image captioning that can produce natural language explicitly grounded in entities that object detectors find in the image. Our approach reconciles classical slot filling approaches (that are generally better grounded in images) with modern neural captioning approaches (that are generally more natural sounding and accurate). Our approach first generates a sentence `template' with slot locations explicitly tied to specific image regions. These slots are then filled in by visual concepts identified in the regions by object detectors. The entire architecture (sentence template generation and slot filling with object detectors) is end-to-end differentiable. We verify the effectiveness of our proposed model on different image captioning tasks. On standard image captioning and novel object captioning, our model reaches state-of-the-art on both COCO and Flickr30k datasets. We also demonstrate that our model has unique advantages when the train and test distributions of scene compositions -- and hence language priors of associated captions -- are different. Code has been made available at: this https URL

研究动机与目标

• 通过将目标检测器整合到可微分框架中，弥合基于模板的有基础字幕与流畅的神经字幕之间的差距。
• 通过显式地将语言槽与检测到的图像区域关联，提升字幕质量和定位准确性。
• 解决当训练与测试场景构图存在显著差异时，字幕泛化能力不足的挑战。
• 开发一种统一的、可端到端训练的架构，将结构化句子模板与视觉概念填充相结合。

提出的方法

• 该模型首先生成一个带有可学习槽的句子模板，这些槽对应于由目标检测器检测到的特定图像区域。
• 每个槽通过可微方式与一个视觉区域关联，确保语言结构基于视觉证据。
• 从检测到的区域中提取视觉概念（对象、属性），并以可微方式填充到槽中。
• 整个流程——模板生成与槽填充——通过可微损失函数进行端到端训练。
• 该框架在训练和推理过程中利用注意力机制，将槽与相关图像区域对齐。
• 模型在 COCO 和 Flickr30k 等标准图像字幕数据集上进行训练，并针对新对象字幕任务进行微调。

实验结果

研究问题

• RQ1 通过显式地将语言槽与检测到的图像区域关联，神经字幕模型能否实现更好的定位性？
• RQ2 与纯神经方法或模板方法相比，整合目标检测器在提升字幕流畅性和准确性方面有何优势？
• RQ3 当测试场景的构图分布与训练数据不同时，所提出的框架是否比现有模型具有更好的泛化能力？
• RQ4 端到端可微性在多大程度上提升了有基础字幕训练的稳定性与性能？
• RQ5 该模型是否能在不重新训练的情况下，保持在新对象字幕任务上的高性能？

主要发现

• 该模型在 COCO 和 Flickr30k 数据集的标准图像字幕与新对象字幕任务上均达到了最先进性能。
• 当测试数据的场景构图分布与训练数据不同时，该模型表现出更优的鲁棒性，优于非有基础的基线模型。
• 将目标检测器与可学习模板结合，可生成更准确且更符合上下文的字幕。
• 端到端可微设计实现了稳定的训练，并有效优化了模板生成与槽填充两个组件。
• 该模型在新对象字幕任务上保持了强劲性能，表明其具备超越已见对象类别的有效泛化能力。