[论文解读] Trusted Multi-View Classification

Zongbo Han, Changqing Zhang+2 more|arXiv (Cornell University)|Feb 3, 2021

Adversarial Robustness in Machine Learning参考文献 47被引用 49

一句话总结

本文提出一种可信的多视图分类方法，通过 Dirichlet 分布和 Dempster-Shafer 理论融合视图特定证据，产生可靠的不确定性估计和鲁棒预测，包括对分布外（OOD）检测。

ABSTRACT

Multi-view classification (MVC) generally focuses on improving classification accuracy by using information from different views, typically integrating them into a unified comprehensive representation for downstream tasks. However, it is also crucial to dynamically assess the quality of a view for different samples in order to provide reliable uncertainty estimations, which indicate whether predictions can be trusted. To this end, we propose a novel multi-view classification method, termed trusted multi-view classification, which provides a new paradigm for multi-view learning by dynamically integrating different views at an evidence level. The algorithm jointly utilizes multiple views to promote both classification reliability and robustness by integrating evidence from each view. To achieve this, the Dirichlet distribution is used to model the distribution of the class probabilities, parameterized with evidence from different views and integrated with the Dempster-Shafer theory. The unified learning framework induces accurate uncertainty and accordingly endows the model with both reliability and robustness for out-of-distribution samples. Extensive experimental results validate the effectiveness of the proposed model in accuracy, reliability and robustness.

研究动机与目标

• 在安全关键场景中阐明对不确定性感知的多视图学习的必要性。
• 提出在信念层面（而非特征或输出）整合多视图证据的统一框架。
• 实现对每个视图和联合不确定性的准确估计，以提高可靠性和鲁棒性，包括 OOD 检测。
• 证明该方法在多种数据集上获得更高的精度、可靠性和鲁棒性。

提出的方法

• 对每个视图建立对类别概率的 Dirichlet 分布参数化的证据。
• 使用主观逻辑将视图证据与每视图的信念质量以及一个不确定性质量相关联。
• 使用 Dempster–Shafer 理论将各视图的信念进行结合，以获得联合信念和 Dirichlet 参数。
• 将联合信念转换为 Dirichlet 参数（alpha），以推导最终的类别概率和不确定性。
• 训练网络输出非负的证据向量，损失函数结合经调整的交叉熵（ACE）和 KL 散度项以抑制错误的证据。
• 以多任务方式对所有视图进行优化，联合损失聚合各视图目标和联合目标。

实验结果

研究问题

• RQ1 如何在证据层面对多视图信息进行融合，以产生可靠的预测和不确定性估计？
• RQ2 基于 Dirichlet 的证据建模结合 Dempster-Shafer 融合是否能提升对嘈杂或分布外视图的鲁棒性？
• RQ3 所提出的框架是否能提供对每个视图和联合的不确定性，便于可信决策？

主要发现

数据	指标	MCDO	DE	UA	EDL	我们的方法
Handwritten	ACC	97.37 ± 0.80	98.30 ± 0.31	97.45 ± 0.84	97.67 ± 0.32	98.51 ± 0.15
Handwritten	AUROC	99.70 ± 0.07	99.79 ± 0.05	99.67 ± 0.10	99.83 ± 0.02	99.97 ± 0.00
CUB	ACC	89.78 ± 0.52	90.19 ± 0.51	89.75 ± 1.43	89.50 ± 1.17	91.00 ± 0.42
CUB	AUROC	99.29 ± 0.03	98.77 ± 0.03	98.69 ± 0.39	98.71 ± 0.03	99.06 ± 0.03
PIE	ACC	84.09 ± 1.45	70.29 ± 3.17	83.70 ± 2.70	84.36 ± 0.87	91.99 ± 1.01
PIE	AUROC	98.90 ± 0.31	95.71 ± 0.88	98.06 ± 0.56	98.74 ± 0.17	99.69 ± 0.05
Caltech101	ACC	91.73 ± 0.58	91.60 ± 0.82	92.37 ± 0.72	90.84 ± 0.56	92.93 ± 0.20
Caltech101	AUROC	99.91 ± 0.01	99.94 ± 0.01	99.85 ± 0.05	99.74 ± 0.03	99.90 ± 0.01
Scene15	ACC	52.96 ± 1.17	39.12 ± 0.80	41.20 ± 1.34	46.41 ± 0.55	67.74 ± 0.36
Scene15	AUROC	92.90 ± 0.31	74.64 ± 0.47	85.26 ± 0.32	91.41 ± 0.05	95.94 ± 0.02
HMDB	ACC	52.92 ± 1.28	57.93 ± 1.02	53.32 ± 1.39	59.88 ± 1.19	65.26 ± 0.76
HMDB	AUROC	93.57 ± 0.28	94.01 ± 0.21	91.68 ± 0.69	94.00 ± 0.25	96.18 ± 0.10

• 样本外准确率和 AUROC 超过六个数据集的单视图不确定性方法。
• 由于视图特定的不确定性感知，方法在嘈杂的多视图条件下仍保持强劲性能。
• 可以从融合的 Dirichlet 证据中推断联合不确定性和类别概率，为预测提供可靠的信任信号。
• 不确定性在分布外样本中往往更高，支持有效的 OOD 检测。
• 该方法在困难场景和动作识别数据集（如 Scene15、HMDB）上显示出显著改进。