[论文解读] Multimodal Machine Learning: A Survey and Taxonomy

Tadas Baltrušaitis, Chaitanya Ahuja+1 more|arXiv (Cornell University)|May 26, 2017

Advanced Chemical Sensor Technologies被引用 105

一句话总结

本文提出了一种全面的多模态机器学习分类法，超越传统的早期融合与晚期融合方法，识别出五个核心挑战：表征、转换、对齐、融合与协同学习。该文综合了这些领域近期的进展，提出一个结构化框架，以指导未来研究并增进对多模态AI系统的理解。

ABSTRACT

Our experience of the world is multimodal - we see objects, hear sounds, feel texture, smell odors, and taste flavors. Modality refers to the way in which something happens or is experienced and a research problem is characterized as multimodal when it includes multiple such modalities. In order for Artificial Intelligence to make progress in understanding the world around us, it needs to be able to interpret such multimodal signals together. Multimodal machine learning aims to build models that can process and relate information from multiple modalities. It is a vibrant multi-disciplinary field of increasing importance and with extraordinary potential. Instead of focusing on specific multimodal applications, this paper surveys the recent advances in multimodal machine learning itself and presents them in a common taxonomy. We go beyond the typical early and late fusion categorization and identify broader challenges that are faced by multimodal machine learning, namely: representation, translation, alignment, fusion, and co-learning. This new taxonomy will enable researchers to better understand the state of the field and identify directions for future research.

研究动机与目标

• 为应对人工智能中多模态数据日益复杂和异构的挑战，识别出超越传统融合方法的核心技术难题。
• 提供一个统一的分类法，将近期多模态机器学习的进展系统化，以改善研究导航与进展追踪。
• 强调语言、视觉与听觉模态之间的相互作用及其联合学习机制，以提升人工智能的理解能力。
• 识别多模态学习中尚未解决的问题，特别是在表征学习、跨模态对齐与零样本迁移方面。
• 通过将现有工作组织在五个关键挑战之下——表征、转换、对齐、融合与协同学习——为未来研究提供支持。

提出的方法

• 提出多模态机器学习挑战的五级分类法：表征、转换、对齐、融合与协同学习。
• 分析各类挑战下的近期方法，包括深度神经网络架构、注意力机制，以及用于跨模态对齐的对比学习方法。
• 回顾适用于非平行数据的技术，如晚期融合（早期融合）、多模态自编码器，以及基于枢轴的模型（例如，桥接相关神经网络）。
• 引入概念基础化作为方法，利用视觉或听觉信号学习模态之间的共享潜在空间。
• 通过语义空间映射实现零样本学习（ZSL），即利用预训练语义空间中的文本嵌入来预测未见的视觉类别。
• 使用大规模数据集（如 MS-COCO、TRECVID 和 IEMOCAP）评估并说明该分类法在各类应用中的适用性。

实验结果

研究问题

• RQ1 如何在共享且有意义的空间中有效表征来自异构源（如文本、图像、音频）的多模态数据？
• RQ2 在一一对应关系模糊或缺失的情况下，有哪些方法可实现模态间的精确映射？
• RQ3 如何在模态之间建立时间与语义对齐，例如在视频帧与口语词之间？
• RQ4 在语音识别或动作分类等任务中，哪些策略能最有效地融合多模态信号以提升预测性能？
• RQ5 在某一模态标注数据有限的情况下，知识如何在模态之间迁移以提升学习效果？

主要发现

• 多模态系统中的表征学习对于捕捉模态间的互补与冗余信息至关重要，深度神经网络可实现有效的联合嵌入。
• 模态间的转换本质上具有歧义性，因映射关系开放，但基于神经网络与注意力机制的模型可学习到合理的跨模态映射。
• 通过对比学习与基于注意力的机制，可实现模态间子元素（如图像区域与文本短语）的对齐，从而提升视觉问答与图像字幕生成任务的性能。
• 基于置信度与噪声水平动态调整模态贡献权重的融合策略，可提升鲁棒性，尤其在低信号环境中表现更优。
• 协同学习技术（如零样本学习与协同训练）可通过利用相关模态的语义或视觉属性，使模型泛化至未见类别，其中 Socher 等人通过语义空间迁移在未见视觉类别上实现了 75% 的准确率。
• 利用视觉或听觉信号进行概念基础化，可显著提升涉及隐喻识别、语义相似性与语言理解等任务的性能，尤其当基础化与任务领域相关时效果更明显。