[论文解读] Predictive Dynamic Fusion

Bing Cao, Yinan Xia+3 more|arXiv (Cornell University)|Jun 7, 2024

Reservoir Engineering and Simulation Methods被引用 4

一句话总结

本文提出预测性动态融合（PDF），一种理论基础坚实的多模态学习框架，通过利用单模态置信度（Mono-Confidence）与全模态置信度（Holo-Confidence）预测协同信念（Co-Belief），减少泛化误差。该方法在噪声和不平衡条件下多个基准测试中均达到最先进性能，显著提升了稳定性和可靠性。

ABSTRACT

Multimodal fusion is crucial in joint decision-making systems for rendering holistic judgments. Since multimodal data changes in open environments, dynamic fusion has emerged and achieved remarkable progress in numerous applications. However, most existing dynamic multimodal fusion methods lack theoretical guarantees and easily fall into suboptimal problems, yielding unreliability and instability. To address this issue, we propose a Predictive Dynamic Fusion (PDF) framework for multimodal learning. We proceed to reveal the multimodal fusion from a generalization perspective and theoretically derive the predictable Collaborative Belief (Co-Belief) with Mono- and Holo-Confidence, which provably reduces the upper bound of generalization error. Accordingly, we further propose a relative calibration strategy to calibrate the predicted Co-Belief for potential uncertainty. Extensive experiments on multiple benchmarks confirm our superiority. Our code is available at https://github.com/Yinan-Xia/PDF.

研究动机与目标

• 为解决现有动态多模态融合方法缺乏理论保证的问题，这些方法常导致次优且不稳定的性能表现。
• 通过泛化误差界视角建模模态的动态、环境依赖可靠性，提升融合可靠性。
• 通过利用融合权重与模态特定损失之间的负协方差，以及与其他模态损失的正协方差，降低泛化误差的上界。
• 通过引入相对校准策略，适应模态主导性的动态变化，处理动态融合中的预测不确定性。
• 开发一种鲁棒、稳定且理论合理的融合机制，在噪声和不平衡数据设置下优于现有方法。

提出的方法

• 该框架源于泛化误差上界的推导，识别出最优融合要求融合权重与其自身模态损失之间具有负协方差，同时与其他模态损失之间具有正协方差。
• 引入协同信念（Co-Belief）作为损失预测的代理变量，其稳定性优于直接损失估计，并自然满足所需的协方差关系。
• 单模态置信度通过建模融合权重与其自身模态损失之间的负相关性，捕捉模态内可靠性。
• 全模态置信度通过编码某一模态的融合权重与其他模态损失之间的正相关性，建模模态间的协作关系。
• 提出一种相对校准策略，根据模态主导性的动态变化调整预测的协同信念，提升对不确定性的鲁棒性。
• 该方法无需额外计算成本，已在多种多模态基准上于不同噪声水平下得到验证。

实验结果

研究问题

• RQ1 是否存在一种理论基础坚实的动态融合框架，能够降低多模态学习中泛化误差的上界？
• RQ2 如何基于模态内与模态间损失关系的动态调整融合权重，以提升稳定性和可靠性？
• RQ3 模态特定的不确定性与数据质量变化对开放环境中融合性能有何影响？
• RQ4 相对校准策略是否能有效处理动态多模态融合中的预测不确定性？
• RQ5 所提出的预测性动态融合框架是否在噪声和不平衡数据条件下优于现有最先进方法？

主要发现

• 在MVSA数据集上，PDF在干净条件下达到79.94% ± 0.95的准确率，优于同条件下表现最佳的基线方法（dynMM*为92.59% ± 0.07）。
• 在10%盐椒噪声下，PDF在MVSA上达到61.97% ± 1.14的准确率，显著优于QMF（61.60% ± 0.20）和TMC（60.22% ± 0.43）。
• 在NYU Depth V2数据集上，10%噪声下PDF达到53.62% ± 2.15的准确率，优于QMF（45.02% ± 2.28）和dynMM*（42.49% ± 0.43）。
• 在CREMA-D数据集上，10%噪声下PDF达到48.40% ± 2.85的准确率，优于QMF（60.41% ± 2.63）和TMC（56.62% ± 3.67）。
• 在UMPC FOOD101数据集上，10%噪声下PDF达到61.76% ± 0.33的准确率，显著优于QMF（51.87% ± 0.91）和dynMM*（38.17% ± 1.17）。
• 所提出的相对校准策略显著提升了鲁棒性，尤其在高噪声场景下表现突出，证明了该方法对动态环境变化的适应能力。