[论文解读] Multimodal Hierarchical Reinforcement Learning Policy for Task-Oriented Visual Dialog

Jiaping Zhang, Tiancheng Zhao+1 more|arXiv (Cornell University)|May 8, 2018

Multimodal Machine Learning Applications参考文献 29被引用 14

一句话总结

该论文提出了一种多模态分层强化学习框架，联合学习多模态对话状态表征与分层对话策略，用于任务导向的视觉对话。通过主策略在提问与图像猜测动作之间进行选择，并结合状态自适应实现上下文感知，该框架在噪声大、类真实世界设置下实现了67.3%的胜率和16.68轮的平均对话轮数，显著优于基线模型。

ABSTRACT

Creating an intelligent conversational system that understands vision and language is one of the ultimate goals in Artificial Intelligence (AI)~\cite{winograd1972understanding}. Extensive research has focused on vision-to-language generation, however, limited research has touched on combining these two modalities in a goal-driven dialog context. We propose a multimodal hierarchical reinforcement learning framework that dynamically integrates vision and language for task-oriented visual dialog. The framework jointly learns the multimodal dialog state representation and the hierarchical dialog policy to improve both dialog task success and efficiency. We also propose a new technique, state adaptation, to integrate context awareness in the dialog state representation. We evaluate the proposed framework and the state adaptation technique in an image guessing game and achieve promising results.

研究动机与目标

• 开发一种能够从多模态（视觉与语言）交互中高效学习的任务导向视觉对话系统。
• 通过分层强化学习应对视觉-语言对话中大规模动态状态-动作空间的挑战。
• 通过整合上下文感知的多模态状态表征，提升对话效率与成功率。
• 在问题与答案自动产生的噪声大、类真实世界环境中评估系统的鲁棒性。
• 验证状态自适应与奖励塑形在提升策略学习效果方面的有效性。

提出的方法

• 采用受封建强化学习启发的分层强化学习（HRL）框架，主策略在语言（提问）与视觉（图像猜测）任务之间进行选择。
• 使用深度强化相关网络（DRRN）处理问题选择的大规模离散动作空间，计算状态-动作对的Q值。
• 在主策略完成任务选择后，采用深度Q网络（DQN）进行原始动作选择（提问或图像猜测）。
• 引入状态自适应机制，动态更新多模态对话状态表征，增强上下文感知能力。
• 采用双DQN与优先经验回放以稳定训练过程并提升数据效率。
• 应用奖励塑形，引导智能体在噪声环境中更快、更准确地完成图像识别。

实验结果

研究问题

• RQ1 分层强化学习框架能否有效学习用于任务导向视觉对话的多模态对话策略？
• RQ2 状态自适应在多模态对话系统中如何提升上下文感知能力与任务表现？
• RQ3 在问题与答案由预训练模型自动产生的噪声大、类真实世界条件下，所提框架在多大程度上保持性能？
• RQ4 奖励塑形的集成是否能提升复杂对话任务中的学习效率与成功率？
• RQ5 与平面策略学习相比，该分层结构在对话成功率与轮次效率方面表现如何？

主要发现

• 所提出的HRL+SAR框架在最具挑战性的实验设置（自动产生问题与答案）下，实现了67.3%的胜率与仅16.68轮的平均对话轮数，显著优于基线模型。
• 仅使用状态自适应，胜率从44.8%提升至48.3%，平均轮数从18.84降至18.77（在自动问答设置下）。
• 奖励塑形进一步提升性能，在噪声大、高难度设置下，胜率提升至67.3%，平均轮数降至16.68。
• 该框架在噪声环境中表现出强鲁棒性，即使问题与答案均由预训练模型自动生成，仍能保持高性能。
• 消融实验证实，状态自适应通过整合动态视觉上下文，显著改善了对话状态表征。
• 与平面策略基线相比，分层结构在高噪声与高不确定性环境下实现了更快收敛与更高的任务完成率。