[论文解读] Room for improvement in automatic image description: an error analysis

Emiel van Miltenburg, Desmond Elliott|arXiv (Cornell University)|Apr 13, 2017

Multimodal Machine Learning Applications参考文献 6被引用 8

一句话总结

本文对一种先进的基于注意力机制的图像字幕生成模型进行了详细的错误分析，识别出20种常见错误类型，并将其归类为四类：人物、主体、对象和一般性错误。研究发现，80%的生成描述至少包含一个错误，其中26%与图像完全无关，且估计纠正五个最常见错误可带来0.2–1.0 BLEU点的性能提升，凸显了在标准相似度指标之外，改进模型关键方向的重要性。

ABSTRACT

In recent years we have seen rapid and significant progress in automatic image description but what are the open problems in this area? Most work has been evaluated using text-based similarity metrics, which only indicate that there have been improvements, without explaining what has improved. In this paper, we present a detailed error analysis of the descriptions generated by a state-of-the-art attention-based model. Our analysis operates on two levels: first we check the descriptions for accuracy, and then we categorize the types of errors we observe in the inaccurate descriptions. We find only 20% of the descriptions are free from errors, and surprisingly that 26% are unrelated to the image. Finally, we manually correct the most frequently occurring error types (e.g. gender identification) to estimate the performance reward for addressing these errors, observing gains of 0.2--1 BLEU point per type.

研究动机与目标

• 识别并分类最先进的图像字幕生成模型所生成描述中的常见错误。
• 使用细粒度的错误分类体系，量化这些错误的频率和严重程度。
• 估算纠正最常见错误类型可能带来的性能提升。
• 通过提供一种定性、以错误为导向的评估框架，超越基于文本相似度的度量标准，实现对图像字幕任务的更深入评估。

提出的方法

• 在Flickr30K数据集上，使用VGG-19特征和基于GRU的解码器，训练了一种最先进的基于注意力机制的图像字幕生成模型。
• 使用束搜索宽度为五，生成了1,014个图像描述，并由人工标注其准确性和错误类型。
• 开发了一个非穷尽的20种错误类型的分类体系，并将其划分为四大主要类别：人物、主体、对象和一般性错误。
• 错误类型基于与图像语义不一致进行分类，包括性别、服装、活动和空间关系等错误。
• 对五个最常见错误类型进行了人工修正研究，尽可能保持原句结构不变，以隔离每类修正的影响。
• 在修正前后分别计算BLEU-4和Meteor得分，以估算修复特定错误类型带来的性能增益。

实验结果

研究问题

• RQ1 最先进的图像字幕生成模型所生成的描述中，最常见的错误类型是什么？
• RQ2 有多少比例的生成描述在事实层面不准确或与图像完全无关？
• RQ3 纠正最常见错误类型可能带来多大的性能提升？
• RQ4 标准自动评估指标（如BLEU和Meteor）在多大程度上能反映图像字幕的语义准确性？
• RQ5 细粒度的错误分类体系是否能为未来模型改进提供指导，超越基于度量的基准测试？

主要发现

• 仅有20%的生成描述完全无错误，表明当前最先进模型普遍存在不准确问题。
• 26%的描述与图像完全无关，凸显了模型的一个主要失败模式。
• 五个最常见错误类型——服装颜色、活动、服装类型、性别以及场景/事件/地点——占了绝大多数错误。
• 纠正服装颜色错误带来的提升最大，使BLEU-4提升1.0分。
• 纠正性别错误使BLEU-4提升0.8分，而活动和服装类型错误分别贡献了0.7和0.3 BLEU点的提升。
• 估算的增益表明，即使在此项分析中增益并非累积，针对性地解决特定错误类型仍可显著提升模型性能。