[论文解读] Recursive Visual Attention in Visual Dialog

Yulei Niu, Hanwang Zhang+4 more|arXiv (Cornell University)|Dec 6, 2018

Multimodal Machine Learning Applications参考文献 40被引用 5

一句话总结

本文提出递归视觉注意力（RvA），一种新颖的注意力机制，使视觉对话智能体能够递归地回顾对话历史，以解决模糊问题中的视觉共指消解问题（例如：'它们是开还是关？'）。通过使用Gumbel-Softmax松弛实现端到端训练，并分别使用语言特征进行推理与回答生成，RvA在VisDial v0.9和v1.0上实现了最先进性能，生成可解释的、依赖历史的注意力图，且对额外标注的依赖显著降低。

ABSTRACT

Visual dialog is a challenging vision-language task, which requires the agent to answer multi-round questions about an image. It typically needs to address two major problems: (1) How to answer visually-grounded questions, which is the core challenge in visual question answering (VQA); (2) How to infer the co-reference between questions and the dialog history. An example of visual co-reference is: pronouns (\eg, ``they'') in the question (\eg, ``Are they on or off?'') are linked with nouns (\eg, ``lamps'') appearing in the dialog history (\eg, ``How many lamps are there?'') and the object grounded in the image. In this work, to resolve the visual co-reference for visual dialog, we propose a novel attention mechanism called Recursive Visual Attention (RvA). Specifically, our dialog agent browses the dialog history until the agent has sufficient confidence in the visual co-reference resolution, and refines the visual attention recursively. The quantitative and qualitative experimental results on the large-scale VisDial v0.9 and v1.0 datasets demonstrate that the proposed RvA not only outperforms the state-of-the-art methods, but also achieves reasonable recursion and interpretable attention maps without additional annotations. The code is available at \url{https://github.com/yuleiniu/rva}.

研究动机与目标

• 解决多轮视觉对话中的视觉共指消解问题，其中代词如'they'或'it'必须与图像对象及先前对话历史关联。
• 开发一种机制，模拟人类对对话历史的选择性回顾，而非存储或关注所有过去的视觉特征。
• 利用Gumbel-Max技巧和连续松弛，实现对离散递归决策过程的端到端训练，以优化视觉注意力。
• 生成可解释、可靠的注意力图，反映主题感知的递归行为，并准确定位模糊指代。
• 在不依赖共指额外标注的情况下，提升视觉对话基准测试的性能。

提出的方法

• RvA框架采用递归推理模块，评估当前问题的模糊性是否需要重新访问对话历史。
• 应用Gumbel-Softmax松弛，实现对离散递归决策的可微训练，支持端到端优化。
• 参考感知语言特征引导智能体基于代词或模糊指代线索，识别应重新访问的对话历史部分。
• 回答感知语言特征控制最终答案生成时激活的图像特征。
• Pair模块实现依赖历史的跳过机制，使智能体能够跳过无关对话回合，将模糊问题与语义相关的先前语句配对。
• 模型整合区域提议网络（RPN）和双向LSTM，分别用于视觉和文本特征编码。

实验结果

研究问题

• RQ1 递归注意力机制是否能在不依赖额外标注的情况下，提升视觉对话中的共指消解能力？
• RQ2 对对话历史进行递归、主题感知的回顾，是否相比单轮或全历史注意力，能带来更可靠、可解释的视觉注意力？
• RQ3 能否通过可微松弛技术，有效实现对离散递归决策的端到端训练？
• RQ4 与最先进方法相比，该模型在VisDial v0.9和v1.0等标准基准上的表现如何？
• RQ5 该模型的递归机制在处理模糊指代时，其行为在多大程度上反映了人类的推理方式？

主要发现

• 在VisDial v0.9上，RvA实现了最先进性能，平均倒数排名（MRR）达到0.5543，优于此前方法（包括CoAtt和CorefNMN）。
• 在VisDial v1.0上，RvA的MRR为0.6634，1位召回率为52.71%，5位为82.97%，10位为90.73%，表明其具有强大的检索性能。
• 定性分析显示，89%的递归注意力图对模糊问题是合理的，而基于问题引导的注意力仅有56%合理。
• 该模型在62%的对话会话中正确完成了共指消解，展现出对代词和省略结构的稳健处理能力。
• Pair模块实现了依赖历史的跳过机制：在使用真实历史时，智能体能跳过无关回合（如跳过'there is no cord'中的'no'），而在使用虚假历史时，则默认与最后一句配对。
• 消融实验表明，若移除RPN或递归注意力模块，性能显著下降，验证了这两个组件的重要性。