[论文解读] Multimodal Conversational AI: A Survey of Datasets and Approaches

Anirudh Sundar, Larry Heck|arXiv (Cornell University)|May 13, 2022

Speech and dialogue systems被引用 4

一句话总结

本综述通过识别五个核心研究领域——表征、融合、翻译、对齐与协同学习——提出了一种统一的多模态对话人工智能框架，以实现系统对多种模态（如语音、视觉、文本）的理解与生成。该综述整合了最先进的数据集与方法，突出多模态协同学习作为迈向复杂多模态对话系统人类水平性能的有前景路径。

ABSTRACT

As humans, we experience the world with all our senses or modalities (sound, sight, touch, smell, and taste). We use these modalities, particularly sight and touch, to convey and interpret specific meanings. Multimodal expressions are central to conversations; a rich set of modalities amplify and often compensate for each other. A multimodal conversational AI system answers questions, fulfills tasks, and emulates human conversations by understanding and expressing itself via multiple modalities. This paper motivates, defines, and mathematically formulates the multimodal conversational research objective. We provide a taxonomy of research required to solve the objective: multimodal representation, fusion, alignment, translation, and co-learning. We survey state-of-the-art datasets and approaches for each research area and highlight their limiting assumptions. Finally, we identify multimodal co-learning as a promising direction for multimodal conversational AI research.

研究动机与目标

• 将多模态对话人工智能的研究目标定义并形式化为一个统一任务，整合多种感官模态。
• 识别并分类多模态对话中的关键研究挑战，包括消歧义、响应生成、指代消解与对话状态追踪。
• 提供一个全面的研究领域分类法：表征、融合、翻译、对齐与协同学习，每一类均针对多模态理解与生成的不同方面。
• 调查每个研究领域中现有的数据集与最先进方法，突出当前方法中的局限性与假设。
• 将多模态协同学习定位为推动多模态对话人工智能向人类水平性能迈进的关键且尚未充分探索的研究方向。

提出的方法

• 将多模态对话人工智能的形式化为多模态联合表征上的优化问题（例如，音频、视觉、文本）。
• 提出一个五部分分类法：(1) 多模态表征，(2) 融合，(3) 翻译，(4) 对齐，(5) 协同学习，以组织研究工作。
• 回顾如Visual7W、Diverse Visual Dialog等数据集，这些数据集支持具有视觉与语言输入的对话任务。
• 分析最先进模型，包括多模态Transformer、对比学习框架，以及用于长上下文推理的生成模型如DIALOGPT与Big Bird。
• 强调在推理与响应生成过程中，使用跨模态注意力与特征对齐机制连接不同模态。
• 提出协同学习方法，即通过共享监督与联合优化，让资源丰富的模态（如视觉）协助训练资源匮乏的模态（如语音）。

实验结果

研究问题

• RQ1 多模态对话人工智能系统如何有效整合并推理多种感官输入（如语音、视觉、文本），以生成连贯且符合语境的响应？
• RQ2 多模态对话中的关键技术挑战（包括消歧义、指代消解与对话状态追踪）是什么？它们与单模态设置有何不同？
• RQ3 现有数据集在多模态对话人工智能发展中起到怎样的支持作用或限制作用？其关键假设与偏差是什么？
• RQ4 模态间的翻译与对齐在改善跨模态理解与响应生成方面有哪些作用？
• RQ5 多模态协同学习在提升模型泛化能力与降低各模态的数据依赖性方面发挥何种作用？

主要发现

• 多模态协同学习被识别为极具前景的研究方向，可使资源丰富的模态提升资源匮乏模态的训练效率与性能。
• 现有数据集如Visual7W与Diverse Visual Dialog为基于视觉的视觉问题回答提供了基础支持，但通常在对话上下文与长时程推理方面缺乏深度。
• 最先进模型如DIALOGPT与Big Bird在开放域响应生成方面表现强劲，但在多模态对齐与事实一致性方面仍存在困难。
• 融合与表征学习方法，尤其是使用注意力机制与对比学习的方法，显著提升了跨模态对齐与推理准确性。
• 指代消解与对话状态追踪仍具挑战性，特别是当指代跨越模态时（例如，'那辆车'指代视觉对象），需在模态间进行联合建模。
• 当前方法的局限性包括对精选数据的依赖、对分布外输入的鲁棒性不足，以及对真实对话动态（如回应性反馈与情感线索）处理不够。