[论文解读] Optimizing Non-decomposable Performance Measures: A Tale of Two Classes

Harikrishna Narasimhan, Purushottam Kar+1 more|arXiv (Cornell University)|May 26, 2015

Machine Learning and Algorithms参考文献 30被引用 19

一句话总结

本文提出了两种新颖的随机优化方法——SPADE（用于凹性能度量）和STAMP（用于伪线性度量），可实现对F-measure、G-mean和H-mean等非分解度量的高效、逐点更新。通过引入自适应线性化方案，这些方法在O(1/ε²)次随机更新内实现收敛，相较于现有方法显著提速，通常快一个数量级，同时在类别不平衡数据集上保持或提升了测试准确率。

ABSTRACT

Modern classification problems frequently present mild to severe label imbalance as well as specific requirements on classification characteristics, and require optimizing performance measures that are non-decomposable over the dataset, such as F-measure. Such measures have spurred much interest and pose specific challenges to learning algorithms since their non-additive nature precludes a direct application of well-studied large scale optimization methods such as stochastic gradient descent. In this paper we reveal that for two large families of performance measures that can be expressed as functions of true positive/negative rates, it is indeed possible to implement point stochastic updates. The families we consider are concave and pseudo-linear functions of TPR, TNR which cover several popularly used performance measures such as F-measure, G-mean and H-mean. Our core contribution is an adaptive linearization scheme for these families, using which we develop optimization techniques that enable truly point-based stochastic updates. For concave performance measures we propose SPADE, a stochastic primal dual solver; for pseudo-linear measures we propose STAMP, a stochastic alternate maximization procedure. Both methods have crisp convergence guarantees, demonstrate significant speedups over existing methods - often by an order of magnitude or more, and give similar or more accurate predictions on test data.

研究动机与目标

• 解决在类别不平衡分类问题中优化非分解性能度量（如F-measure和G-mean）的挑战。
• 开发支持真正逐点随机更新的可扩展优化技术，避免使用大缓冲区或多轮遍历。
• 在统一框架下，为凹度量和伪线性度量提供收敛性保证。
• 克服现有基于代理损失的方法和插件法在大规模数据集上扩展性差或需要两阶段训练的局限性。
• 实现端到端学习，通过类似随机梯度的更新方式，联合优化分类器参数和阈值。

提出的方法

• 为凹性能度量提出一种自适应线性化方案，利用Fenchel对偶性将度量表示为真正率（TPR）和真负率（TNR）的线性函数。
• 提出SPAD，一种随机对偶-对偶求解器，通过随机镜像下降交替更新对偶变量和分类器权重。
• 针对F-measure等伪线性度量，提出STAMP，一种随机交替最大化方法，联合优化组合权重和模型参数。
• 利用在线学习保证和Hoeffding不等式，对随机更新过程中梯度近似值的估计误差进行边界控制。
• 设计基于轮次的更新调度策略，采用自适应流长度，确保收敛至ϵ-近似全局最优解。
• 利用在线转批量转换和遗憾界，推导出实现ε-精度的样本复杂度保证为Õ(1/ε²)。

实验结果

研究问题

• RQ1 能否在不依赖大缓冲区或多轮遍历的前提下，通过逐点随机更新高效优化F-measure和G-mean等非分解性能度量？
• RQ2 如何对以TPR和TNR为变量的凹性能度量实现自适应线性化，以支持随机优化？
• RQ3 针对F-measure等伪线性性能度量的随机算法，可建立何种收敛性保证？
• RQ4 所提方法在大规模类别不平衡数据集上，能否在速度和准确率方面超越现有基于代理损失和插件的方法？
• RQ5 使用随机更新优化这些非分解度量时，达到ε-精度所需的样本复杂度是多少？

主要发现

• SPADE与STAMP在O(1/ε²)次随机更新内实现收敛，实现ε-精度的样本复杂度被限制在Õ(1/ε² log⁴(1/ε))以内。
• 在大规模数据集上，与SVMPerf风格方法和插件法相比，两种方法均展现出高达一个数量级或更多的加速效果。
• SPAD与STAMP在严重类别不平衡条件下，仍能保持或优于基线方法的测试准确率。
• 自适应线性化策略使算法能够在训练过程中利用分类器性能的提升，从而加速收敛。
• 理论分析证实，在log(1/ε)轮次更新或O(1/ε²)次随机更新后，可收敛至ϵ-近似全局最优解。
• 实验结果表明，这些方法能有效扩展至内存无法容纳的大规模数据集，支持流式学习场景。