[论文解读] Skeleton Key: Image Captioning by Skeleton-Attribute Decomposition

Yufei Wang, Zhe Lin+3 more|arXiv (Cornell University)|Apr 23, 2017

Multimodal Machine Learning Applications参考文献 46被引用 16

一句话总结

本文提出了一种自粗到精的图像字幕生成框架，将描述分解为骨架句（对象及其关系）和属性短语（详细属性），通过注意力机制分别生成。该方法在 MS-COCO 和 Stock3M 数据集上实现了最先进性能，尤其在与人类评价相关的 SPICE 指标上表现优异，同时通过独立控制骨架和属性长度，实现了可变长度字幕生成。

ABSTRACT

Recently, there has been a lot of interest in automatically generating descriptions for an image. Most existing language-model based approaches for this task learn to generate an image description word by word in its original word order. However, for humans, it is more natural to locate the objects and their relationships first, and then elaborate on each object, describing notable attributes. We present a coarse-to-fine method that decomposes the original image description into a skeleton sentence and its attributes, and generates the skeleton sentence and attribute phrases separately. By this decomposition, our method can generate more accurate and novel descriptions than the previous state-of-the-art. Experimental results on the MS-COCO and a larger scale Stock3M datasets show that our algorithm yields consistent improvements across different evaluation metrics, especially on the SPICE metric, which has much higher correlation with human ratings than the conventional metrics. Furthermore, our algorithm can generate descriptions with varied length, benefiting from the separate control of the skeleton and attributes. This enables image description generation that better accommodates user preferences.

研究动机与目标

• 解决自回归字幕模型常重复训练数据且难以处理新颖属性-对象组合的局限性。
• 通过将场景核心结构（骨架）的生成与详细属性描述的生成解耦，提升字幕的多样性与准确性。
• 通过分别控制骨架和属性生成，实现用户自定义字幕长度。
• 提升 SPICE 指标表现，该指标与人类判断的相关性高于传统指标。

提出的方法

• 该模型采用两阶段流程：首先使用带有注意力机制的编码器-解码器生成描述主要对象及其关系的骨架句。
• 在第二阶段，模型重新访问骨架中的每个对象，使用独立的 Attr-LSTM 和优化后的注意力机制（后词注意力 α）生成相关属性。
• 系统采用受认知神经科学启发的自粗到精生成策略，模拟自上而下的物体识别与基于物体的注意力机制。
• 长度控制机制为骨架和属性分别设置长度因子，实现灵活、用户自适应的字幕生成。
• 该方法采用后词 α 注意力优化，专门提升属性预测的注意力图质量，从而增强对颜色、大小等属性的预测准确性。
• 模型在 MS-COCO 和 Stock3M 上端到端训练，并使用 SPICE、BLEU、ROUGE 和 METEOR 指标进行评估。

实验结果

研究问题

• RQ1 将图像字幕生成分解为骨架和属性两个阶段，是否能提升字幕质量和多样性？
• RQ2 自粗到精的分解是否能在与人类判断更相关的 SPICE 指标上带来更好的性能？
• RQ3 通过独立控制骨架和属性组件，模型能否实现可变长度的字幕生成？
• RQ4 所提出的后词 α 注意力优化在多大程度上提升了属性预测的准确性？
• RQ5 对于训练中未共同出现过的属性-对象组合，该模型能否生成更多独特且新颖的字幕？

主要发现

• 自粗到精模型在强基线基础上显著提升了 SPICE 分数，表明其与人类判断的对齐性更好。
• 在 MS-COCO 测试集上，与基线相比，该模型使唯一字幕占比提升 3%，新颖字幕占比提升 8%。
• 后词 α 注意力优化提升了属性子类别上的 SPICE 分数，其中颜色 +0.003、大小 +0.003、基数 +0.004、纹理 +0.001。
• 该模型实现了灵活的字幕长度控制：通过分别调节骨架和属性的长度因子，生成的描述比基线更具多样性且更适应用户需求。
• 在 MS-COCO 数据集上，该模型在多个指标上均实现一致提升，尤其在 SPICE 指标上增益最为显著。
• 定性结果表明，该模型生成的字幕更准确、更富多样性，尤其在描述训练中未共同出现过的对象属性方面表现更优。