[论文解读] Provable Dynamic Fusion for Low-Quality Multimodal Data

Qingyang Zhang, Haitao Wu+5 more|arXiv (Cornell University)|Jun 3, 2023

Remote-Sensing Image Classification被引用 20

一句话总结

本文对鲁棒动态多模态融合提出理论框架，并提出使用不确定性估计来对模态进行加权的质量感知多模态融合（QMF），具备理论泛化保证并在低质量数据上进行大量实验，显示性能提升。

ABSTRACT

The inherent challenge of multimodal fusion is to precisely capture the cross-modal correlation and flexibly conduct cross-modal interaction. To fully release the value of each modality and mitigate the influence of low-quality multimodal data, dynamic multimodal fusion emerges as a promising learning paradigm. Despite its widespread use, theoretical justifications in this field are still notably lacking. Can we design a provably robust multimodal fusion method? This paper provides theoretical understandings to answer this question under a most popular multimodal fusion framework from the generalization perspective. We proceed to reveal that several uncertainty estimation solutions are naturally available to achieve robust multimodal fusion. Then a novel multimodal fusion framework termed Quality-aware Multimodal Fusion (QMF) is proposed, which can improve the performance in terms of classification accuracy and model robustness. Extensive experimental results on multiple benchmarks can support our findings.

研究动机与目标

• 在模态质量和数据噪声变化下，激励鲁棒的多模态融合。
• 利用 Rademacher 复杂度表征动态融合与静态融合的泛化误差界。
• 提出一种基于不确定性估计来为模态赋权的质量感知多模态融合（QMF）框架。
• 证明在特定条件下，动态融合在理论上能优于静态融合。
• 提供实用的训练方法和正则化，使融合权重与模态不确定性对齐。

提出的方法

• 用动态权重 w^m(x) 对晚期融合进行形式化，并推导多模态融合的泛化界限（定理1）。
• 给出动态融合优于静态融合的条件（定理2）。
• 提出基于模态不确定性且满足相关性条件（方程6）的质量感知多模态融合（QMF）。
• 定义不确定性权重 w^m(x) = α^m u^m(x) + β^m，其中 α^m 为负值以将权重与不确定性耦合（方程9）。
• 将能量分数用作各模态的不确定性线索，并引入采样式正则化以提高不确定性与损失之间的相关性（方程12-18）。
• 给出训练 QMF 的算法1，并描述包含正则化项的整体损失（方程18） 。

实验结果

研究问题

• RQ1 从泛化角度看，动态多模态融合在何时能被严格证明优于静态融合？
• RQ2 如何将不确定性估计整合到融合权重中，以在多模态学习中实现可证明的鲁棒性？
• RQ3 动态融合性能与单模态泛化误差及不确定性之间的关系是什么？
• RQ4 一个实用框架（QMF）能否通过可靠的不确定性基础加权实现理论优势？
• RQ5 基于能量分数的不确定性估计，在所提正则化下，是否能在融合加权中获得更好的不确定性与损失之间的相关性？

主要发现

• 当融合权重与单模态泛化误差呈负相关（ Cov(w^m, l^m) ≤ 0 ）时，动态融合具有可证明的泛化优势。
• 动态融合泛化界由平均经验损失、平均复杂度、权重与损失的协方差以及一个采样基项组成，将鲁棒性与不确定性对齐联系起来（定理1）。
• 在某些条件下，动态融合的上界不劣于静态融合；若权重与单模态损失的皮尔逊相关为非正，则甚至可更好（定理2）。
• 动态融合的泛化能力与不确定性估计的表现一致（不确定性质量直接影响融合权重）。
• QMF 以来自模态不确定性的基于不确定性的权重为例证，使用基于能量分数的不确定性和正则化项使权重与训练难度（损失轨迹）对齐。
• 基准测试的实证结果表明，在低质量数据上，QMF 保持或提高准确率；数据嘈杂或模态不平衡时，通常优于单模态基线（如表1和图3所示）。