[论文解读] Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions

Huan Ma, Zongbo Han+4 more|arXiv (Cornell University)|Nov 11, 2021

Domain Adaptation and Few-Shot Learning被引用 15

一句话总结

该论文提出了一种可信赖的多模态回归框架，采用正态逆伽马分布混合模型（MoNIG）显式建模模态特异性和全局的信念性与随机性不确定性。通过根据不确定性估计动态调整融合策略，该方法在面对噪声或损坏的模态时提升了鲁棒性，并在多种真实世界任务中实现了更优的回归精度和可靠的不确定性量化。

ABSTRACT

Multimodal regression is a fundamental task, which integrates the information from different sources to improve the performance of follow-up applications. However, existing methods mainly focus on improving the performance and often ignore the confidence of prediction for diverse situations. In this study, we are devoted to trustworthy multimodal regression which is critical in cost-sensitive domains. To this end, we introduce a novel Mixture of Normal-Inverse Gamma distributions (MoNIG) algorithm, which efficiently estimates uncertainty in principle for adaptive integration of different modalities and produces a trustworthy regression result. Our model can be dynamically aware of uncertainty for each modality, and also robust for corrupted modalities. Furthermore, the proposed MoNIG ensures explicitly representation of (modality-specific/global) epistemic and aleatoric uncertainties, respectively. Experimental results on both synthetic and different real-world data demonstrate the effectiveness and trustworthiness of our method on various multimodal regression tasks (e.g., temperature prediction for superconductivity, relative location prediction for CT slices, and multimodal sentiment analysis).

研究动机与目标

• 解决现有多模态回归模型在代价敏感领域中缺乏可信度的问题，特别是在不可靠预测可能导致灾难性后果的场景中。
• 克服传统模型假设模态质量稳定且缺乏不确定性意识、从而产生过度自信预测的局限性。
• 开发一个统一的概率框架，显式表示模态特异性和全局层面的信念性（模型）与随机性（数据）不确定性。
• 实现基于不确定性的动态多模态融合，以提升对噪声和损坏的鲁棒性，同时保持高回归精度。

提出的方法

• 提出正态逆伽马分布混合模型（MoNIG）作为多模态回归中预测不确定性的概率框架。
• 使用正态逆伽马分布建模模态特异性不确定性，实现对每种模态的随机性（数据噪声）和信念性（模型不确定性）分量的独立估计。
• 通过基于估计不确定性的加权融合机制整合多模态信息，不确定性越高则模态贡献越低。
• 引入伪模态组件以增强特征互补性，并在训练和推理过程中提升鲁棒性。
• 采用可微损失函数端到端优化模型，平衡回归精度与不确定性校准。
• 利用MoNIG的分层结构，在统一框架中实现局部（模态特异性）和全局（整体）不确定性估计。

实验结果

研究问题

• RQ1 统一的概率框架能否有效建模多模态回归中模态特异性和全局的信念性与随机性不确定性？
• RQ2 当面对噪声或损坏的模态时，所提出的MoNIG模型能否根据实时不确定性估计自适应调整其融合策略？
• RQ3 与标准融合方法相比，引入模态特异性不确定性在多模态回归任务中能在多大程度上提升鲁棒性与可靠性？
• RQ4 在预测不确定性与实际回归误差之间的一致性方面，MoNIG的不确定性估计质量与最先进基线相比如何？
• RQ5 该模型能否提供可靠的不确定性估计，以支持在医疗诊断或自动驾驶等安全关键应用中的可信决策？

主要发现

• 在高温超导体临界温度预测数据集上，MoNIG在高噪声（ε = 0.01）条件下测试RMSE为12.19，显著优于EVD（13.95），表明其具备更强的鲁棒性。
• 在CT切片相对位置预测任务中，MoNIG在高噪声（ε = 0.1）条件下RMSE为0.91，远低于EVD的2.23，展现出优异的抗噪能力。
• 不确定性-误差不一致性率（UEIR）分别降低至12.65%（随机性不确定性）和11.70%（信念性不确定性），优于EVD的13.73%和12.37%，表明不确定性校准更优。
• 可视化分析表明，随着噪声水平升高，MoNIG动态提升不确定性估计，显示出对模态特异性噪声的自适应感知能力。
• 消融实验证明，使用不确定性加权融合（Ours）显著优于简单平均或固定权重融合，验证了动态不确定性引导融合的价值。
• 在500个不同噪声水平的测试样本中，该模型成功识别出受损的模态，展示了其模态特异性噪声感知与可解释性能力。