[论文解读] Optimal Decision-Theoretic Classification Using Non-Decomposable Performance Metrics

Nagarajan Natarajan, Oluwasanmi Koyejo+2 more|arXiv (Cornell University)|May 7, 2015

Imbalanced Data Classification Techniques参考文献 16被引用 3

一句话总结

该论文证明，在F1和Jaccard等非可分解度量满足真阳性（TP）单调性条件的前提下，最优决策理论分类通过正类条件概率的符号阈值化即可实现。作者提出了高效的O(n³)和O(n²)算法以计算最优阈值，将计算复杂度从指数时间显著降低至多项式时间，同时保证了一致性，并在基准数据集上优于基线方法。

ABSTRACT

We provide a general theoretical analysis of expected out-of-sample utility, also referred to as decision-theoretic classification, for non-decomposable binary classification metrics such as F-measure and Jaccard coefficient. Our key result is that the expected out-of-sample utility for many performance metrics is provably optimized by a classifier which is equivalent to a signed thresholding of the conditional probability of the positive class. Our analysis bridges a gap in the literature on binary classification, revealed in light of recent results for non-decomposable metrics in population utility maximization style classification. Our results identify checkable properties of a performance metric which are sufficient to guarantee a probability ranking principle. We propose consistent estimators for optimal expected out-of-sample classification. As a consequence of the probability ranking principle, computational requirements can be reduced from exponential to cubic complexity in the general case, and further reduced to quadratic complexity in special cases. We provide empirical results on simulated and benchmark datasets evaluating the performance of the proposed algorithms for decision-theoretic classification and comparing them to baseline and state-of-the-art methods in population utility maximization for non-decomposable metrics.

研究动机与目标

• 弥合二元分类中经验效用最大化（EUM）与决策理论分析（DTA）在非可分解度量下的理论差距。
• 识别出最优DTA分类器可表示为正类条件概率符号阈值化的充分条件。
• 为DTA下的最优样本外分类开发计算高效且一致的估计器。
• 证明可通过概率排序原则将DTA分类的计算复杂度从指数时间降低至立方或二次时间。

提出的方法

• 引入真阳性（TP）单调性作为度量满足概率排序原则（PRP）的充分条件。
• 证明Fβ、Jaccard以及线性分式族等度量满足该条件，从而确保最优分类器为正类条件概率的符号阈值函数。
• 提出算法1用于一般度量，时间复杂度为O(n³)；提出算法2用于Fβ和Jaccard等特殊情况，时间复杂度为O(n²)。
• 利用概率排序原则缩小最优决策规则的搜索空间，避免对所有可能标记进行暴力枚举。
• 通过在总体层面实现效用最大化，提出一致的最优阈值估计器。
• 采用基于验证的方法估计最优阈值，确保在有限样本设置下的一致性。

实验结果

研究问题

• RQ1 在何种条件下，非可分解度量的最优决策理论分类器等价于正类条件概率的符号阈值化？
• RQ2 是否可将基于DTA的分类计算复杂度从指数时间降低至多项式时间？
• RQ3 是否存在一种通用条件（如TP单调性），可保证广泛非可分解度量的概率排序原则成立？
• RQ4 所提出的基于DTA的算法在真实世界数据集上与基于EUM和基线阈值方法相比性能如何？
• RQ5 在渐近情形下，DTA与EUM的最优分类器在多大程度上一致？

主要发现

• 对于包括F1和Jaccard在内的许多非可分解度量，只要度量满足TP单调性，最优DTA分类器即等价于正类条件概率的符号阈值化。
• 所提出的用于一般度量的O(n³)算法和用于特殊情况（如Fβ、Jaccard）的O(n²)算法，将计算复杂度从指数时间显著降低至多项式时间。
• 实证结果表明，所提DTA方法在模拟数据和基准数据集上，于多种度量下性能与EUM或基线方法相当或更优。
• 该方法在不平衡设置下持续优于0.5阈值（基线），并在F1和Jaccard度量上与EUM性能相当或更优。
• 分析结果复现了Fβ和计数平方误差（SEC）的已知结论，证实与先前研究的一致性。
• 理论结果表明，对于满足概率排序原则的任意度量，DTA与EUM的最优分类器在渐近意义上是等价的。