[论文解读] Quantifying Intrinsic Uncertainty in Classification via Deep Dirichlet Mixture Networks

Qingyang Wu, He Li+2 more|arXiv (Cornell University)|Jun 11, 2019

Gaussian Processes and Bayesian Inference参考文献 23被引用 7

一句话总结

本文提出深度狄利克雷混合网络（DDMN），通过将分类概率建模为狄利克雷混合分布中的随机变量，量化深度学习分类中的固有不确定性。该方法利用每个样本的多个标签学习预测概率的潜在分布，生成反映不确定性的可信区间——在阿尔茨海默病的MRI数据诊断中得到有效验证，其中更宽的区间表示标签不一致和更低的置信度。

ABSTRACT

With the widespread success of deep neural networks in science and technology, it is becoming increasingly important to quantify the uncertainty of the predictions produced by deep learning. In this paper, we introduce a new method that attaches an explicit uncertainty statement to the probabilities of classification using deep neural networks. Precisely, we view that the classification probabilities are sampled from an unknown distribution, and we propose to learn this distribution through the Dirichlet mixture that is flexible enough for approximating any continuous distribution on the simplex. We then construct credible intervals from the learned distribution to assess the uncertainty of the classification probabilities. Our approach is easy to implement, computationally efficient, and can be coupled with any deep neural network architecture. Our method leverages the crucial observation that, in many classification applications such as medical diagnosis, more than one class labels are available for each observational unit. We demonstrate the usefulness of our approach through simulations and a real data example.

研究动机与目标

• 解决深度神经网络在分类任务预测中缺乏显式不确定性量化的问题。
• 将分类概率建模为未知分布的随机变量，而非固定值。
• 利用医学和科学应用中常见的每个样本多个标签，估计预测概率的真实分布。
• 生成既包含点估计又包含反映不确定性的可信区间的预测结果，以支持更优决策。
• 提供一种计算高效的频率学派方法，无需MCMC或复杂贝叶斯训练，即可获得类似贝叶斯的不确定性陈述。

提出的方法

• 将分类概率建模为单纯形上未知分布的实现，通过K个分量的狄利克雷混合近似。
• 二分类任务使用贝塔混合模型，并通过狄利克雷分布扩展至多分类。
• 将混合模型作为附加输出层集成到标准深度神经网络中，保持架构灵活性。
• 通过观测多标签数据的负对数似然，使用最大似然法估计混合模型参数。
• 从学习到的混合分布构建可信区间，以量化预测概率的不确定性。
• 采用频率学派推断框架，在无需后验抽样或MCMC的情况下生成类似贝叶斯的可信区间。

实验结果

研究问题

• RQ1 能否扩展深度神经网络，使其不仅输出分类概率的点估计，还能输出反映固有不确定性的可信区间？
• RQ2 如何利用每个样本的多个标签来建模分类概率的真实分布？
• RQ3 当标签一致性较低时（如混合诊断评估），该方法是否能产生更可靠的不确定性估计？
• RQ4 该方法能否高效实现，并与任意标准深度学习架构兼容？
• RQ5 可信区间的宽度与标签不一致程度及模型置信度之间存在何种关联？

主要发现

• 在阿尔茨海默病MRI数据集中，所有诊断为NC+MCI的患者，其预测的AD概率低于0.1，可信区间的宽度也低于0.15，表明置信度高且不确定性低。
• 所有诊断为AD的患者也表现出较窄的可信区间，表明预测一致且具有高置信度。
• 对于诊断标签混合的患者（MIX组），可信区间的宽度显著更宽——超过0.3——表明因标签不一致导致不确定性更高。
• 患者4的MMSE评分恰好位于23分临界点，其预测概率为0.45，可信区间宽度达0.3，表明因标签模糊而存在不确定性。
• 该方法有效捕捉了不确定性：MIX组中始终观察到更宽的区间，而狭窄区间则与标签一致性相关。
• 该方法表明，可信区间宽度与标签不一致程度相关，为现实场景中模型置信度提供了可靠指标。