[论文解读] Multi-step Reasoning via Recurrent Dual Attention for Visual Dialog

Zhe Gan, Yu Cheng+4 more|arXiv (Cornell University)|Feb 1, 2019

Multimodal Machine Learning Applications参考文献 73被引用 29

一句话总结

本文提出循环双重注意力网络（ReDAN），一种用于视觉对话的多步推理框架，通过在图像和对话历史特征上进行循环注意力，迭代优化问题表征。通过在多个推理步骤中逐步聚焦于相关的视觉与文本线索，ReDAN 在 VisDial v1.0 数据集上取得了新的 SOTA 64.47% NDCG 得分，可视化结果表明注意力图随时间推移变得更加清晰。

ABSTRACT

This paper presents a new model for visual dialog, Recurrent Dual Attention Network (ReDAN), using multi-step reasoning to answer a series of questions about an image. In each question-answering turn of a dialog, ReDAN infers the answer progressively through multiple reasoning steps. In each step of the reasoning process, the semantic representation of the question is updated based on the image and the previous dialog history, and the recurrently-refined representation is used for further reasoning in the subsequent step. On the VisDial v1.0 dataset, the proposed ReDAN model achieves a new state-of-the-art of 64.47% NDCG score. Visualization on the reasoning process further demonstrates that ReDAN can locate context-relevant visual and textual clues via iterative refinement, which can lead to the correct answer step-by-step.

研究动机与目标

• 解决视觉对话系统中单步推理的局限性，后者往往无法捕捉细粒度的多模态上下文。
• 通过结合视觉和对话历史特征，在多个步骤中迭代优化问题表征，实现渐进式、迭代式推理。
• 在复杂视觉对话场景中提升答案准确率，特别是针对需要整合图像区域与对话历史的问题。
• 通过注意力可视化增强模型的鲁棒性与可解释性，以追踪推理过程的进展。
• 通过架构创新与集成技术，在 VisDial v1.0 基准上实现最先进性能。

提出的方法

• 引入一种循环双重注意力机制，通过结合图像和对话历史特征，在多个推理步骤中更新问题表征。
• 保持视觉与文本记忆，以存储图像特征和对话历史，实现在每个推理步骤中的跨注意力机制。
• 使用循环神经网络，基于所关注的视觉与文本线索，迭代优化问题表征。
• 在每一步中应用双重注意力，同时关注相关图像区域与对话历史片段，且注意力权重随时间推移逐渐变得清晰。
• 通过排名聚合（平均排名）结合判别式与生成式模型，以提升性能，尤其在 NDCG 指标上表现更优。
• 采用集成策略，包括多样化的图像特征与关系感知编码器，进一步提升泛化能力，最终形成 ReDAN+ 模型。

实验结果

研究问题

• RQ1 多步推理是否能通过逐步优化问题表征来提升视觉对话性能？
• RQ2 与单步注意力相比，对图像和对话历史进行迭代注意力如何提升答案准确率？
• RQ3 判别式与生成式模型的排名聚合在多大程度上能提升视觉对话中的 NDCG 得分？
• RQ4 模型的注意力机制是否在连续推理步骤中变得更具聚焦性与可解释性？
• RQ5 该模型在不同问题类型上的表现如何，特别是计数或颜色识别等具有挑战性的问题？

主要发现

• ReDAN 在 VisDial v1.0 验证集上取得了新的 SOTA NDCG 得分为 64.47%，优于先前方法。
• ReDAN+ 集成模型（结合 4 个判别式与 4 个生成式模型，采用排名平均）在验证集上达到 67.12% 的 NDCG 得分。
• 可视化结果证实，注意力图在推理步骤中逐渐变得清晰，注意力从宽泛区域（如 'boy'）逐步聚焦到具体区域（如 'shorts'）。
• 在是/否问题上，生成式模型表现优于判别式模型（63.49% vs. 60.89%），而判别式模型在数字与颜色问题上表现更优。
• 通过排名平均结合判别式与生成式模型，可获得最高的 NDCG（65.13%），表明两者存在互补增强效应。
• 数字类问题仍是最具挑战性的，性能最低（判别式为 44.47%，生成式为 41.09%），表明仍需更优的计数机制。