[论文解读] What to align in multimodal contrastive learning?

Benoit Dufumier, Javiera Castillo-Navarro+2 more|arXiv (Cornell University)|Sep 11, 2024

EFL/ESL Teaching and LearningArts and Humanities被引用 3

一句话总结

本文提出 CoMM，一种对比式多模态自监督学习方法，通过对齐增强的多模态特征，捕捉超出简单跨模态冗余之外的冗余、独特和协同信息。通过最大化增强多模态表示之间的互信息，CoMM 在共享空间中实现模态间的通信，从而在六个多模态基准上实现最先进性能，同时自然地建模复杂的多模态交互。

ABSTRACT

Humans perceive the world through multisensory integration, blending the information of different modalities to adapt their behavior. Contrastive learning offers an appealing solution for multimodal self-supervised learning. Indeed, by considering each modality as a different view of the same entity, it learns to align features of different modalities in a shared representation space. However, this approach is intrinsically limited as it only learns shared or redundant information between modalities, while multimodal interactions can arise in other ways. In this work, we introduce CoMM, a Contrastive MultiModal learning strategy that enables the communication between modalities in a single multimodal space. Instead of imposing cross- or intra- modality constraints, we propose to align multimodal representations by maximizing the mutual information between augmented versions of these multimodal features. Our theoretical analysis shows that shared, synergistic and unique terms of information naturally emerge from this formulation, allowing us to estimate multimodal interactions beyond redundancy. We test CoMM both in a controlled and in a series of real-world settings: in the former, we demonstrate that CoMM effectively captures redundant, unique and synergistic information between modalities. In the latter, CoMM learns complex multimodal interactions and achieves state-of-the-art results on the six multimodal benchmarks.

研究动机与目标

• 解决现有对比式多模态学习方法仅捕捉模态间冗余信息的局限性。
• 在统一的自监督框架中实现对所有类型多模态交互（冗余、独特性和协同性）的建模。
• 开发一种方法，使模态在共享表示空间中实现真正的信息交流，而非强制对齐单模态特征。
• 提供一种理论基础扎实的方法，使共享、独特和协同信息项自然地从互信息最大化中浮现。
• 在无需任务特定监督或跨模态对比约束的前提下，实现在多样化多模态基准上的最先进性能。

提出的方法

• CoMM 使用多模态编码器将来自多个模态的输入融合为单一共享表示。
• 对多模态特征应用数据增强，并最大化这些特征增强视图之间的互信息。
• 该方法基于信息论，其中互信息最大化自然地引出冗余（R）、独特性（U）和协同性（S）分量。
• 与先前方法不同，CoMM 不施加跨模态或模内约束；相反，它将多模态表示视为一个统一实体用于对比学习。
• 该框架与现有的视觉和语言主干网络（例如 CLIP、BLIP-2）兼容，计算开销极低。
• 该方法受到全局工作空间理论的启发，建模一个整合并广播信息到各模态的共享表示空间。

Figure 1: a) We propose CoMM, a contrastive multimodal approach that allows the interplay of multiple modalities and learns multimodal interactions . Unlike previous multimodal models (Cross) that align cross-modal features, CoMM aligns multimodal features in a shared representation space. b) Multim

实验结果

研究问题

• RQ1 对比学习能否被重新定义，以捕捉模态之间不仅限于冗余，还包括独特性和协同性信息？
• RQ2 如何在不强制执行跨模态对齐的前提下，使自监督多模态学习框架在共享表示空间中实现模态间的通信？
• RQ3 在增强的多模态特征之间最大化互信息，在多大程度上能产生对多模态交互更全面的表示？
• RQ4 基于多模态特征的对比目标是否在捕捉复杂、任务无关的多模态交互方面优于传统的跨模态对比方法？
• RQ5 此类方法是否能在多样化的多模态基准上实现泛化，并在无需任务特定微调的情况下达到最先进性能？

主要发现

• CoMM 在六个多模态基准上实现最先进性能，包括 MM-IMDb、Hateful Memes 和 Vision&Touch，优于先前的对比方法。
• 在受控实验中，CoMM 有效捕捉并解耦了模态之间冗余、独特和协同信息的分量。
• 该方法表明，增强多模态特征之间的互信息最大化自然地引出所有三种信息项（R、U、S），且无需显式监督。
• CoMM 在极低计算开销下保持强大性能，当使用相同主干网络时，仅增加 30G FLOPs 和 5ms 延迟，相较于 CLIP。
• 由于能够建模复杂的多模态交互，该模型在多样化任务上泛化良好，包括图像-文本分类、视频动作识别和机器人操作。
• 理论分析证实，CoMM 的公式与认知原理一致，如共享表示和信息广播，符合全局工作空间理论。

Figure 2: CoMM’s model architecture. Inputs from different modalities $X=(X_{1},...,X_{n})$ are first encoded by modality-specific encoders. Modality-specific features are processed by latent converters to map them into sequences of embeddings which are concatenated and fused by a transformer block.