[论文解读] Multi-step Joint-Modality Attention Network for Scene-Aware Dialogue System

Yun-Wei Chu, Kuan-Yen Lin+2 more|arXiv (Cornell University)|Jan 17, 2020

Multimodal Machine Learning Applications参考文献 29被引用 18

一句话总结

该论文提出了一种多步联合模态注意力网络（JMAN），通过在多个推理步骤中联合关注视觉和文本特征，利用循环神经网络（RNN）增强场景感知对话系统。该模型在DSTC8 AVSD基准测试中，CIDEr得分相比基线模型提升了22.4%，ROUGE-L得分提升了12.1%，证明了其在视频对话任务中具有更优的多模态理解与响应生成能力。

ABSTRACT

Understanding dynamic scenes and dialogue contexts in order to converse with users has been challenging for multimodal dialogue systems. The 8-th Dialog System Technology Challenge (DSTC8) proposed an Audio Visual Scene-Aware Dialog (AVSD) task, which contains multiple modalities including audio, vision, and language, to evaluate how dialogue systems understand different modalities and response to users. In this paper, we proposed a multi-step joint-modality attention network (JMAN) based on recurrent neural network (RNN) to reason on videos. Our model performs a multi-step attention mechanism and jointly considers both visual and textual representations in each reasoning process to better integrate information from the two different modalities. Compared to the baseline released by AVSD organizers, our model achieves a relative 12.1% and 22.4% improvement over the baseline on ROUGE-L score and CIDEr score.

研究动机与目标

• 通过整合音频、视觉和文本输入，解决动态视频对话系统中的多模态理解挑战。
• 通过在多个模态上建模序列推理，提升场景感知对话中的响应生成准确性。
• 克服单步注意力机制在复杂视频理解中跨模态特征融合的局限性。
• 通过在多个推理步骤中联合关注视觉和文本表示，提升模型在DSTC8 AVSD基准测试中的性能。
• 探究推理深度与联合模态注意力对多模态对话生成质量的影响。

提出的方法

• 使用循环神经网络（RNN）对视频和对话特征进行多步推理，实现注意力的逐步优化。
• 引入联合模态注意力网络（JMAN），联合计算视觉特征（RGB、光流）和文本特征（字幕、摘要、对话历史）的注意力。
• 在每个推理步骤中，计算模态特定的注意力特征（如文本的$C_n$、$S_n$，视频的$V_n$），并将其合并为联合注意力特征$T_n$和$V_n$。
• 使用交叉注意力机制，在每一步将问题嵌入与相关的视觉和文本表示对齐。
• 通过逐元素拼接和前馈网络聚合来自多个模态的注意力特征，生成上下文感知的表示。
• 使用交叉熵损失进行端到端训练以生成响应，并在推理阶段采用束搜索解码。

实验结果

研究问题

• RQ1 与单步注意力相比，多步推理在视频对话系统中如何提升多模态理解能力？
• RQ2 联合模态注意力在复杂视频理解中，对视觉与文本模态之间的特征融合程度有多大提升？
• RQ3 在多模态对话生成中，为平衡性能与计算成本，最优推理步数是多少？
• RQ4 不同输入模态（视频特征、字幕、摘要、对话历史）对响应生成准确性的贡献如何？
• RQ5 与模态特定注意力相比，对多个模态进行联合注意力是否能降低开放域视频问答中的歧义性？

主要发现

• 所提出的JMAN模型在DSTC8-AVSD数据集的CIDEr得分上相比基线模型实现了22.4%的相对提升。
• ROUGE-L得分记录了12.1%的相对提升，表明响应更具流畅性且内容覆盖更全面。
• 随着推理步数增加，性能持续提升，峰值出现在五步，超过此步数无显著增益。
• 联合模态注意力机制显著增强了模型理解能力，使模型能生成更精确的答案，如“他一直坐着”而非模糊回应。
• 定性分析表明，该模型能更好地追踪时间动态与物体持续性，生成更详细且上下文准确的响应。
• 在最终的DSTC8挑战结果中，该模型在主观与客观评估指标上均优于官方基线模型。