[论文解读] Structured Triplet Learning with POS-tag Guided Attention for Visual Question Answering

Zhe Wang, Xiaoyi Liu+5 more|arXiv (Cornell University)|Jan 24, 2018

Multimodal Machine Learning Applications被引用 10

一句话总结

本文提出了一种基于词性标注引导注意力的结构化三元组学习框架，用于视觉问答任务，通过聚焦于语义上有意义的词汇，并联合关注图像区域、问题和答案，增强了语言与视觉的交互。该方法在Visual7W上取得了68.2%的最先进性能，在VQA真实多选题测试标准划分上达到69.6%。

ABSTRACT

Visual question answering (VQA) is of significant interest due to its potential to be a strong test of image understanding systems and to probe the connection between language and vision. Despite much recent progress, general VQA is far from a solved problem. In this paper, we focus on the VQA multiple-choice task, and provide some good practices for designing an effective VQA model that can capture language-vision interactions and perform joint reasoning. We explore mechanisms of incorporating part-of-speech (POS) tag guided attention, convolutional n-grams, triplet attention interactions between the image, question and candidate answer, and structured learning for triplets based on image-question pairs. We evaluate our models on two popular datasets: Visual7W and VQA Real Multiple Choice. Our final model achieves the state-of-the-art performance of 68.2% on Visual7W, and a very competitive performance of 69.6% on the test-standard split of VQA Real Multiple Choice.

研究动机与目标

• 通过图像-问题-答案三元组的结构化建模，提升视觉问答中语言与视觉的交互能力。
• 通过利用词性（POS）标注引导注意力机制，解决问题和答案中噪声或无关词汇的挑战。
• 通过在训练过程中使用结构化三元组损失进行困难负样本挖掘，提升模型的泛化能力和判别能力。
• 设计一种统一的注意力机制，联合推理视觉特征、问题词汇和候选答案词汇。
• 在不依赖外部预训练数据或集成方法的前提下，实现在标准VQA基准上的最先进性能。

提出的方法

• 引入基于词性标注的注意力机制，以抑制低显著性词汇（如“and”、“or”）的影响，突出问题和答案中内容丰富的词汇（如名词、动词和形容词）。
• 采用卷积n-gram模型，捕捉问题和答案中的局部短语级语义，提升句子表征能力，超越词级别嵌入。
• 设计三元组注意力机制，通过向量表示的点积计算问题/答案词汇与图像区域之间的亲和度得分。
• 对问题和答案的注意力系数进行逐元素池化与归一化处理，然后线性组合，以动态加权视觉特征。
• 实施基于边距的困难负样本挖掘策略的结构化三元组损失，其中同一（图像，问题）对用于比较正确与错误答案。
• 使用残差网络（ResNet）进行图像特征提取，并在联合推理框架中将这些特征与学习到的问题和答案表征相结合。

实验结果

研究问题

• RQ1 词性标注如何改善视觉问答模型中的注意力机制？
• RQ2 通过三元组注意力机制联合建模问题、答案和视觉特征会产生何种影响？
• RQ3 基于困难负样本挖掘的结构化三元组学习能否提升模型在多选题视觉问答中的泛化能力与性能？
• RQ4 局部n-gram建模的集成如何增强视觉问答中的句子级理解？
• RQ5 在不使用外部预训练数据的情况下，单一非集成模型在Visual7W和VQA基准上能达到多大程度的最先进性能？

主要发现

• 所提模型在Visual7W基准上实现了68.2%的最先进准确率，较之前最先进结果提升1.1个百分点。
• 在VQA真实多选题数据集的测试标准划分上，模型达到69.6%的准确率，优于比较中所有单一模型基线。
• 可视化结果表明，基于词性标注的注意力机制有助于模型聚焦于相关图像区域和语义重要词汇，减少对无关或噪声项的关注。
• 三元组注意力机制成功将问题和答案词汇与对应视觉区域对齐，提升了联合推理能力，并减少了对错误或模糊图像区域的关注。
• 失败案例显示，当正确答案与错误答案导致相似注意力模式时，注意力仍可能被误导，表明注意力对齐仍需进一步优化。
• 基于边距的困难负样本挖掘的结构化三元组损失显著提升了模型的判别能力，性能提升对比标准交叉熵训练得到充分验证。