[论文解读] Survey on Deep Multi-modal Data Analytics: Collaboration, Rivalry and Fusion

Yang Wang|arXiv (Cornell University)|Jun 15, 2020

Advanced Image and Video Retrieval Techniques参考文献 146被引用 29

一句话总结

本综述全面概述了深度多模态数据分析，强调深度神经网络中协作、对抗性竞争与融合策略。它指出，通过生成对抗网络（GANs）和多视图自编码器等架构，在多种模态之间进行联合学习，可利用异构数据源的互补信息，从而提升聚类、分类和检索任务的性能。

ABSTRACT

With the development of web technology, multi-modal or multi-view data has surged as a major stream for big data, where each modal/view encodes individual property of data objects. Often, different modalities are complementary to each other. Such fact motivated a lot of research attention on fusing the multi-modal feature spaces to comprehensively characterize the data objects. Most of the existing state-of-the-art focused on how to fuse the energy or information from multi-modal spaces to deliver a superior performance over their counterparts with single modal. Recently, deep neural networks have exhibited as a powerful architecture to well capture the nonlinear distribution of high-dimensional multimedia data, so naturally does for multi-modal data. Substantial empirical studies are carried out to demonstrate its advantages that are benefited from deep multi-modal methods, which can essentially deepen the fusion from multi-modal deep feature spaces. In this paper, we provide a substantial overview of the existing state-of-the-arts on the filed of multi-modal data analytics from shallow to deep spaces. Throughout this survey, we further indicate that the critical components for this field go to collaboration, adversarial competition and fusion over multi-modal spaces. Finally, we share our viewpoints regarding some future directions on this field.

研究动机与目标

• 系统性回顾从浅层到深层特征空间的最先进深度多模态学习方法。
• 识别并分析协作、对抗性竞争与融合在多模态数据分析中的关键作用。
• 研究深度神经网络如何通过跨模态交互增强特征表示与性能。
• 探讨早期融合与晚期融合策略的局限性，并倡导更有效的协作式融合机制。
• 提出未来研究方向，聚焦于复杂现实问题中的时空多模态协作。

提出的方法

• 提出多模态融合策略的分类体系：早期融合（特征的早期拼接）、晚期融合（独立处理后聚合）和协作融合（通过联合优化实现在多个视图间达成共识）。
• 回顾深度多模态架构，如多视图自编码器和深度度量学习网络，这些架构可学习模态间的共享表示。
• 引入CM-GANs，一种具有双判别器（模内与模间）的跨模态GAN框架，以实现在图像与文本模态之间的对抗性训练。
• 在CM-GANs中采用联合优化目标：最小化生成器损失，同时最大化模内与模间判别器的判别能力。
• 采用双流架构，为图像与文本模态分别设置生成器与判别器，通过对抗性反馈实现跨模态对齐。
• 提出一种时空多模态协作框架，其中来自不同模态的智能体在最优时间与位置交换信息，以降低复杂度并避免次优决策。

实验结果

研究问题

• RQ1 深度神经网络如何有效融合多模态的互补信息，以提升多模态学习任务的性能？
• RQ2 与早期融合和晚期融合策略相比，协作融合在多模态数据分析中的优势与局限性是什么？
• RQ3 通过GAN的对抗性训练如何增强跨模态表示学习并提升特征可分性？
• RQ4 在复杂且不确定的环境（如道路网络）中，多模态智能体如何实现时空协作，以降低计算复杂度并避免次优路径？
• RQ5 为实现在实际应用中稳健、实时的多模态协作，未来需要哪些研究方向？

主要发现

• 协作融合通过实现多模态间的联合优化与共识学习，优于早期融合与晚期融合。
• 深度多模态模型，特别是采用自编码器与度量学习的模型，在聚类与分类任务中表现更优，因其能捕捉非线性、高层次的表示。
• CM-GANs通过联合训练模内与模间判别器，实现更优的跨模态对齐，从而生成更具判别性的共享表示。
• 多模态GAN中的对抗性训练通过促使生成器生成真实且对齐的跨模态表示，提升了特征质量与泛化能力。
• 多模态智能体之间的时空协作可显著降低搜索复杂度，并在大规模网络中避免陷入陷阱，如路径查找示例所示。
• 在基准数据集上的实证结果表明，深度多模态方法在聚类、分类与检索任务中始终优于单模态基线方法。