[论文解读] Unimodal probability distributions for deep ordinal classification

Christopher Beckham, Christopher Pal|arXiv (Cornell University)|May 15, 2017

Explainable Artificial Intelligence (XAI)参考文献 12被引用 14

一句话总结

该论文通过使用泊松分布和二项分布，在深度序数分类中强制实现单峰概率分布，以提升模型的可解释性和性能。通过将预测结果约束为在单一类别处达到峰值，并在两侧单调衰减，该方法在两个大型图像数据集上实现了具有竞争力或更优的性能，尤其在top-k准确率和加权二次 kappa (QWK) 指标上表现突出。其中，二项分布形式优于泊松分布，并且在结合地球移动距离（EMD）损失时进一步提升了性能。

ABSTRACT

Probability distributions produced by the cross-entropy loss for ordinal classification problems can possess undesired properties. We propose a straightforward technique to constrain discrete ordinal probability distributions to be unimodal via the use of the Poisson and binomial probability distributions. We evaluate this approach in the context of deep learning on two large ordinal image datasets, obtaining promising results.

研究动机与目标

• 解决标准交叉熵损失产生的概率分布可能为多峰且不符合直觉的问题，尽管损失值相同。
• 通过强制实现反映类别自然排序的单峰分布，改善序数分类中的模型行为。
• 评估通过泊松和二项分布实现单峰约束是否能在深度学习中产生更合理且有效的概率预测。
• 在大规模序数图像数据集上，比较单峰形式与标准交叉熵损失和EMD损失的性能表现。
• 探究单峰约束是否作为一种正则化形式，尤其在top-k准确率指标上具有优势。

提出的方法

• 使用泊松和二项分布的概率质量函数（PMF）来参数化在序数类别上的预测概率分布。
• 通过确保预测分布在中心类别处达到峰值，并在两侧单调衰减，施加单峰约束。
• 引入可学习的温度参数 τ 来控制泊松分布的方差，缓解高K设置下的问题。
• 采用地球移动距离（EMD）损失作为基线比较，该损失考虑了类别顺序和距离。
• 使用交叉熵或EMD损失训练深度神经网络，结合单峰分布参数化方法。
• 利用期望技巧稳定训练过程，通过学习一个控制单峰分布位置和分布范围的均值 τ。

实验结果

研究问题

• RQ1 强制实现单峰概率分布是否能提升深度序数分类中预测的质量和可解释性？
• RQ2 在深度学习中，泊松分布和二项分布在建模单峰序数预测方面的能力如何比较？
• RQ3 与标准交叉熵损失相比，使用单峰约束是否能在top-k准确率和加权二次kappa（QWK）指标上带来更好的性能？
• RQ4 当与地球移动距离（EMD）损失结合时，单峰约束是否更具有效性？
• RQ5 在高基数序数问题中（例如，大量年龄类别），泊松分布的方差是否会降低性能，而温度缩放是否能缓解此问题？

主要发现

• 在Adience和糖尿病性视网膜病变数据集上，二项分布形式在QWK和top-k准确率方面均持续优于泊松分布形式。
• 即使在最差配置（τ=1的泊松分布）下，该模型在Adience数据集上的top-3准确率仍优于交叉熵基线。
• 当与泊松分布结合时，EMD损失带来了性能提升，但与二项分布结合时未见类似效果，表明损失与分布之间存在不同的交互作用。
• 单峰约束起到了正则化作用，尤其在top-k准确率上表现突出，因为当真实类别与峰值类别相邻时，相邻类别会获得较高的概率质量。
• 温度缩放（τ）显著提升了性能，尤其对泊松分布而言，通过控制方差防止概率质量过度扩散。
• 在更大的糖尿病性视网膜病变数据集中，深度网络自然学习到了类似单峰的分布，降低了对显式单峰约束的需求，但二项分布形式仍带来了可观的性能增益。