[论文解读] Rich Image Captioning in the Wild

Kenneth Tran, Xiaodong He+6 more|arXiv (Cornell University)|Mar 30, 2016

Multimodal Machine Learning Applications参考文献 22被引用 41

一句话总结

本文提出了一种组合式图像字幕生成系统，通过整合深度残差网络进行视觉概念检测、名人与地标实体识别，以及低质量图像处理的置信度模型，显著提升了开放域图像的字幕质量。该系统在具有挑战性的Instagram数据集上，人类满意度相对提升了94.9%，在人类评估中，无论是在域内（MS COCO）还是域外设置下，均优于先前的最先进方法。

ABSTRACT

We present an image caption system that addresses new challenges of automatically describing images in the wild. The challenges include high quality caption quality with respect to human judgments, out-of-domain data handling, and low latency required in many applications. Built on top of a state-of-the-art framework, we developed a deep vision model that detects a broad range of visual concepts, an entity recognition model that identifies celebrities and landmarks, and a confidence model for the caption output. Experimental results show that our caption engine outperforms previous state-of-the-art systems significantly on both in-domain dataset (i.e. MS COCO) and out of-domain datasets.

研究动机与目标

• 解决先前系统仅在受控基准上评估时，在开放域真实图像（如社交媒体图像）上图像字幕性能不足的问题。
• 通过将人类判断作为主要评估标准，超越自动指标，进一步提升字幕质量。
• 通过引入名人和地标等丰富且语义有意义的实体，增强字幕信息，以提升用户理解能力。
• 实现实时部署的低延迟推理（在4核CPU上低于1秒），适用于生产系统。
• 开发一个置信度模型，识别难以描述的图像，并触发备用字幕生成策略。

提出的方法

• 在MS COCO和大规模商业图像搜索数据集上微调一个50层深度残差网络（ResNet），分别用于检测700个和1,500个视觉概念，采用Sigmoid输出层实现多标签分类。
• 训练一个实体识别模型，用于识别名人和地标，从而为字幕注入高价值的语义信息。
• 利用视觉和文本特征训练一个置信度分类器，以估计每个字幕输出的可靠性，从而在面对模糊或低质量图像时实现优雅降级。
• 系统采用组合式流水线：每张图像的视觉特征仅提取一次，随后通过语言模型生成字幕候选，并利用深度多模态语义模型对候选进行排序。
• 最终字幕基于排名最高的候选生成，同时利用置信度分数触发低置信输出的备用字幕策略。
• 整个流水线针对推理速度进行了优化，在4核CPU上实现了端到端字幕生成时间低于1秒。

实验结果

研究问题

• RQ1 如何改进图像字幕系统，使其在受控基准之外的真实开放域图像上具备良好的泛化能力？
• RQ2 与通用描述相比，包含实体信息的字幕（如命名名人或地标）在多大程度上能提升人类满意度？
• RQ3 置信度模型能否有效识别并处理难以生成字幕的图像，从而提升整体系统的鲁棒性？
• RQ4 与先前的视觉特征提取器相比，集成深度残差网络进行视觉概念检测对字幕质量有何影响？
• RQ5 在生产就绪的字幕系统中，结合实体识别与置信度建模后，人类评估指标的相对提升幅度是多少？

主要发现

• 与基线相比，该系统在Instagram数据集上的人类满意度相对提升了94.9%，使用完整系统时满意度达到49.5%。
• 在MS COCO数据集上，系统将“差”和“尴尬”字幕的综合发生率降低了6.0%，同时将“优秀”评级提升10%以上。
• 置信度分类器在MS COCO数据集上将“差”和“尴尬”字幕率降低了0.7%，在MIT数据集上降低了10.7%，显著提升了在域外图像上的鲁棒性。
• 置信度分数与人类判断高度相关，Instagram数据集上“优秀”字幕的平均得分为0.59，“尴尬”字幕的平均得分为0.20，验证了模型可靠性的估计能力。
• 实体识别显著提升了字幕的丰富性——例如，将“一个穿西装的男人”提升为“伊恩·索默哈尔德穿着西装”，即使两者均被评为“优秀”。
• 系统在4核CPU上实现了端到端推理时间低于1秒，证明了其在生产环境中实时部署的可行性。