[论文解读] Multimodal Representation Learning by Alternating Unimodal Adaptation

Xiaohui Zhang, Jaehong Yoon+2 more|arXiv (Cornell University)|Nov 17, 2023

Speech and dialogue systems被引用 4

一句话总结

本文提出 MLA，一种新颖的多模态表示学习框架，通过在优化单模态编码器时交替进行，并持续优化共享头以捕捉跨模态交互。通过使用梯度修改防止遗忘，并采用测试时基于不确定性的融合策略，MLA 在五个多样化数据集上优于先前方法，尤其在模态缺失或不平衡的场景中表现更优。

ABSTRACT

Multimodal learning, which integrates data from diverse sensory modes, plays a pivotal role in artificial intelligence. However, existing multimodal learning methods often struggle with challenges where some modalities appear more dominant than others during multimodal learning, resulting in suboptimal performance. To address this challenge, we propose MLA (Multimodal Learning with Alternating Unimodal Adaptation). MLA reframes the conventional joint multimodal learning process by transforming it into an alternating unimodal learning process, thereby minimizing interference between modalities. Simultaneously, it captures cross-modal interactions through a shared head, which undergoes continuous optimization across different modalities. This optimization process is controlled by a gradient modification mechanism to prevent the shared head from losing previously acquired information. During the inference phase, MLA utilizes a test-time uncertainty-based model fusion mechanism to integrate multimodal information. Extensive experiments are conducted on five diverse datasets, encompassing scenarios with complete modalities and scenarios with missing modalities. These experiments demonstrate the superiority of MLA over competing prior approaches. Our code is available at https://github.com/Cecile-hi/Multimodal-Learning-with-Alternating-Unimodal-Adaptation.

研究动机与目标

• 解决多模态学习中的模态懒惰问题，即在联合训练过程中主导模态掩盖从属模态的问题。
• 克服联合优化的局限性，该方法会导致干扰并使从属模态的适应效果不佳。
• 开发一种方法，在保持跨模态知识的同时，实现独立的单模态优化，以提升模型的平衡性与性能。
• 确保在真实场景中的鲁棒性，即在训练或推理过程中某些模态可能缺失。
• 引入一种测试时融合机制，根据预测不确定性动态调整各模态的权重，以提升最终决策质量。

提出的方法

• 将联合多模态训练重构为一种交替的单模态学习过程，每次仅更新一个模态的编码器。
• 在所有模态之间保持一个持续优化的共享头，以捕捉跨模态表示。
• 应用梯度修改机制，使不同模态之间的梯度方向正交化，防止共享头遗忘先前学习到的模态特定信息。
• 使用模态特定的编码器独立学习单模态表示，从而在训练过程中减少干扰。
• 在推理阶段，应用基于测试时不确定性的融合机制，根据各模态预测的不确定性得分动态分配权重。
• 不确定性度量评估预测置信度，不确定性越高，其在最终融合中的贡献越低。

实验结果

研究问题

• RQ1 交替的单模态适应是否能减少模态主导性，提升多模态模型中的学习平衡性？
• RQ2 梯度修改在防止共享头中模态特定知识灾难性遗忘方面的有效性如何？
• RQ3 基于不确定性的测试时融合是否能提升多模态预测性能，特别是在某些模态不可靠或缺失的情况下？
• RQ4 所提出的方法是否能泛化到完整模态与缺失模态的场景？
• RQ5 在多样化的多模态数据集上，MLA 与现有基线相比在鲁棒性与性能方面表现如何？

主要发现

• MLA 在五个多样化多模态数据集上达到最先进性能，包括 CMN、HICO-DET 和 VQA v2，优于 CLIP 和 OGM-GE 等强基线模型。
• 在 VQA v2 数据集上，MLA 将准确率从 CLIP 的 72.22% 提升至 72.22%（精确匹配），从 83.98% 提升至 85.34%（top-5 准确率），展现出一致的性能增益。
• MLA 显著减少了模态懒惰现象，表现为表示学习中更大的模态差距，表明从属模态得到了更好的利用。
• 该方法在模态缺失场景中泛化良好，即使在训练期间高达 90% 的模态缺失，仍能保持强劲性能。
• 测试时基于不确定性的融合机制通过降低高不确定性模态预测的权重，提升了最终预测质量。
• 梯度修改机制有效防止了灾难性遗忘，实现了在交替训练步骤中跨模态知识的稳定保留。