[论文解读] Optimizing F-measure: A Tale of Two Approaches

Ye Nan, Kian Ming A. Chai+2 more|arXiv (Cornell University)|Jun 18, 2012

Imbalanced Data Classification Techniques参考文献 21被引用 86

一句话总结

本文比较了在类别不平衡分类中优化F-measure的两种方法：经验效用最大化（EUM），即直接在F-measure上训练分类器；以及基于决策理论的方法，即学习一个概率模型并预测以最大化期望F-measure。理论上，当数据集较大时，两种方法渐近等价，但EUM对模型误设更具鲁棒性，而基于决策理论的方法在处理罕见类别和领域自适应方面表现更优。

ABSTRACT

F-measures are popular performance metrics, particularly for tasks with imbalanced data sets. Algorithms for learning to maximize F-measures follow two approaches: the empirical utility maximization (EUM) approach learns a classifier having optimal performance on training data, while the decision-theoretic approach learns a probabilistic model and then predicts labels with maximum expected F-measure. In this paper, we investigate the theoretical justifications and connections for these two approaches, and we study the conditions under which one approach is preferable to the other using synthetic and real datasets. Given accurate models, our results suggest that the two approaches are asymptotically equivalent given large training and test sets. Nevertheless, empirically, the EUM approach appears to be more robust against model misspecification, and given a good model, the decision-theoretic approach appears to be better for handling rare classes and a common domain adaptation scenario.

研究动机与目标

• 分析并比较在类别不平衡分类中优化F-measure的两种主流方法：经验效用最大化（EUM）与基于决策理论的学习。
• 探讨这两种方法背后的理论联系与理论依据。
• 通过合成数据集和真实数据集，评估在何种条件下一种方法优于另一种方法。
• 评估模型误设以及数据稀缺性（尤其是对罕见类别）对F-measure优化性能的影响。

提出的方法

• 通过使用近似F-measure的代理损失函数，在训练数据上直接优化F-measure，应用经验效用最大化（EUM）。
• 基于决策理论的方法通过概率分类器建模类别概率，然后选择在模型下期望F-measure最大的预测结果。
• 理论分析表明，在样本量较大且模型设定正确时，两种方法渐近收敛至相同的最优解。
• 研究使用合成数据控制模型正确性，使用真实数据集评估鲁棒性及在罕见类别上的表现。
• 通过使用错误的参数形式引入模型误设，以模拟现实世界中的建模误差。
• 通过在训练集和测试集之间改变数据分布来评估领域自适应，检验在分布偏移下的泛化能力。

实验结果

研究问题

• RQ1 在何种条件下，EUM在F-measure优化中比基于决策理论的方法更具鲁棒性？
• RQ2 模型误设与数据稀缺性如何影响EUM与基于决策理论方法的性能？
• RQ3 在大样本量和正确模型假设下，EUM与基于决策理论的方法是否存在理论等价性？
• RQ4 基于决策理论的方法在罕见类别预测方面是否优于EUM？
• RQ5 在存在分布偏移的领域自适应场景下，两种方法的表现如何？

主要发现

• 当训练集和测试集规模较大且模型准确时，EUM与基于决策理论的方法在F-measure性能上渐近等价。
• 实证结果表明，EUM对模型误设更具鲁棒性，在假设模型错误时仍能保持稳定的F-measure。
• 在处理罕见类别方面，基于决策理论的方法优于EUM，尤其当正样本在训练数据中代表性不足时。
• 在涉及分布偏移的领域自适应场景中，基于决策理论的方法表现出更好的泛化能力与F-measure稳定性。
• 两种方法的理论等价性仅在模型设定正确且数据量大的理想条件下成立，而这些条件在实践中常被违反。
• 本研究证实，当模型假设经常被违反时，EUM在现实场景中更具实用性。