[论文解读] Reactive Multi-Stage Feature Fusion for Multimodal Dialogue Modeling

Yi Ting Yeh, Tzu-Chuan Lin+4 more|arXiv (Cornell University)|Aug 14, 2019

Multimodal Machine Learning Applications参考文献 20被引用 13

一句话总结

本文提出了一种用于视听场景感知对话（AVSD）任务中多模态对话建模的反应式多阶段特征融合机制，通过1×1卷积和加权求和操作融合视觉（VGGish）、文本（GloVe）和对话历史特征。该方法实现了最先进性能，在CIDEr上比基线模型提升12%，在人工评估中提升11%，证明了分阶段融合与基于注意力的解码机制的有效性，且无需依赖噪声较大的i3d特征。

ABSTRACT

Visual question answering and visual dialogue tasks have been increasingly studied in the multimodal field towards more practical real-world scenarios. A more challenging task, audio visual scene-aware dialogue (AVSD), is proposed to further advance the technologies that connect audio, vision, and language, which introduces temporal video information and dialogue interactions between a questioner and an answerer. This paper proposes an intuitive mechanism that fuses features and attention in multiple stages in order to well integrate multimodal features, and the results demonstrate its capability in the experiments. Also, we apply several state-of-the-art models in other tasks to the AVSD task, and further analyze their generalization across different tasks.

研究动机与目标

• 通过有效融合视觉、语言和音频模态的特征，提升多模态对话响应生成性能。
• 解决将动态、时序的视频信息与场景感知对话系统中的对话历史进行整合的挑战。
• 探究噪声或冗余特征（如I3D）是否降低模型性能，以及更简单的融合机制是否能优于复杂的注意力方案。
• 评估自顶向下注意力机制在多模态对话任务中的泛化能力。
• 开发一种轻量化但高效的编码器-解码器框架，在模型复杂度与性能之间取得平衡。

提出的方法

• 模型使用单向GRU编码器，对来自VGGish（音频）、字幕（视觉描述）和对话历史（文本上下文）的序列特征进行嵌入。
• 通过1×1卷积后接可学习的加权求和操作实现特征融合，实现参数高效的多阶段模态特异性表示融合。
• 反应式编码器在各阶段动态融合特征，使模型能够根据问题上下文关注相关模态。
• 解码器采用注意力机制，对融合后的特征进行注意力聚焦，消融实验对比了标准注意力、自顶向下注意力和无注意力机制。
• 通过消融实验评估模型架构，包括特征集（如排除I3D和摘要）和融合策略（乘积、求和、拼接、加权求和）。
• 推理阶段应用细粒度响应修正，以提升生成响应的流畅性与相关性。

实验结果

研究问题

• RQ1 简单的反应式多阶段融合机制是否能在多模态对话中超越复杂的基于注意力的融合方法？
• RQ2 尽管I3D特征具有高维内容，其引入是否因噪声而降低性能？
• RQ3 在多模态特征融合中，加权求和相比拼接或逐元素乘积的性能如何？
• RQ4 当以系统化、消融的方式应用时，自顶向下注意力机制是否能提升AVSD中的响应生成性能？
• RQ5 是否可能通过排除冗余或误导性特征（如摘要和I3D）的简化模型架构实现最先进性能？

主要发现

• 所提出的1×1卷积结合加权求和的融合方法在CIDEr得分上优于拼接（1.019 vs. 0.977），且参数量显著更少。
• 排除I3D特征可提升模型稳定性和性能，因为I3D引入的噪声会阻碍学习，尽管其特征维度很高。
• 即使在次优训练设置下，该模型在CIDEr得分上比官方基线提升12%，在人工评估中提升11%。
• 对话历史特征集取得最佳CIDEr得分（1.023），表明其对响应相关性与连贯性的强贡献。
• 细粒度响应修正带来微小但可测量的性能提升，表明其在优化生成输出方面的价值。
• 消融实验确认，字幕和对话特征比摘要更具信息量，因为摘要常包含误导或不准确的信息。