[论文解读] Recent Advances and Trends in Multimodal Deep Learning: A Review

Summaira Jabeen, Xi Li+3 more|arXiv (Cornell University)|May 24, 2021

Multimodal Machine Learning Applications参考文献 172被引用 18

一句话总结

本综述对多模态深度学习（MMDL）的最新进展进行了全面回顾，提出了针对图像、视频、文本、音频、手势、面部表情和生理信号等模态的细粒度应用分类体系。文章分析了模型架构、数据集、评估指标及开放性挑战，为多模态表征学习与融合的未来研究提供了详尽的方向。

ABSTRACT

Deep Learning has implemented a wide range of applications and has become increasingly popular in recent years. The goal of multimodal deep learning is to create models that can process and link information using various modalities. Despite the extensive development made for unimodal learning, it still cannot cover all the aspects of human learning. Multimodal learning helps to understand and analyze better when various senses are engaged in the processing of information. This paper focuses on multiple types of modalities, i.e., image, video, text, audio, body gestures, facial expressions, and physiological signals. Detailed analysis of past and current baseline approaches and an in-depth study of recent advancements in multimodal deep learning applications has been provided. A fine-grained taxonomy of various multimodal deep learning applications is proposed, elaborating on different applications in more depth. Architectures and datasets used in these applications are also discussed, along with their evaluation metrics. Last, main issues are highlighted separately for each domain along with their possible future research directions.

研究动机与目标

• 提供对图像、视频、文本、音频、身体动作、面部表情和生理信号等多种模态下多模态深度学习（MMDL）的最新研究进展的全面综述。
• 通过强调整合多种感官输入以实现更丰富、更类人理解的模型需求，解决单模态学习的局限性。
• 提出一种新颖的、细粒度的MMDL应用分类体系，以更好地组织和分类新兴的研究趋势。
• 分析当前MMDL应用中使用的典型架构、基准数据集和评估指标。
• 识别开放的研究问题，并为每个应用领域提出具体明确的未来研究方向。

提出的方法

• 基于模态类型和应用任务，系统性地将MMDL应用划分为不同的领域。
• 回顾并比较基线模型与近期最先进模型，包括注意力机制、多模态Transformer以及晚期融合架构等。
• 分析MS-COCO、IEMOCAP、MSR-VTT和DAQUAR等广泛使用数据集的特性，突出其在特定任务中的适用性。
• 考察mAP、AUC、平均绝对误差（MAE）和MOS等评估指标，以衡量不同MMDL任务中模型的性能表现。
• 对神经网络架构进行结构化分析，包括CNN、RNN、LSTM、BiLSTM以及MCB和晚期融合等多模态融合技术。
• 采用基于调查的研究方法，整合2018至2021年间的最新文献成果，聚焦各领域内的研究趋势、挑战与开放性问题。

实验结果

研究问题

• RQ1 近期的MMDL模型如何有效整合并表征图像、文本、音频和生理信号等多样化模态的信息？
• RQ2 在视觉问题回答、语音识别和情绪检测等多模态任务中，哪些关键的架构创新与融合策略显著提升了模型性能？
• RQ3 当前MMDL应用中，特别是在数据异质性、维度灾难和信号预处理方面，存在哪些主要局限与开放挑战？
• RQ4 现有数据集与评估指标在多模态学习不同应用领域中的进展中，起到了怎样的支持或制约作用？
• RQ5 在推动鲁棒、可泛化且高效的多模态深度学习系统方面，哪些未来研究方向最具前景？

主要发现

• 多模态学习通过利用多种感官输入的互补信息，显著优于单模态方法，性能表现更优。
• 注意力机制与多模态Transformer已成为主导架构，有效实现了跨模态对齐与特征融合。
• 维度灾难仍是多模态融合中的关键挑战，尤其是在对来自不同模态的高维特征进行拼接时。
• 生理信号在情绪识别中的处理仍处于早期阶段，其预处理复杂性以及代表性数据集的缺乏构成了主要障碍。
• 端到端（E2E）学习模型在捕捉异构数据相关性方面，相较于传统流水线式方法展现出更强的通用性。
• 未来研究应优先关注利用迁移学习实现多平台事件检测，并通过生成对抗网络（GANs）或RNN扩展改进特征学习，以提升社交媒体数据上的识别准确率。