[论文解读] Tilted Empirical Risk Minimization

Tian Li, Ahmad Beirami+2 more|arXiv (Cornell University)|Jul 2, 2020

Statistical Methods and Inference参考文献 77被引用 4

一句话总结

该论文提出了倾斜经验风险最小化（TERM），这是一种统一框架，通过引入一个超参数'倾斜'来广义化经验风险最小化（ERM），灵活控制单个损失的影响。通过调节倾斜参数，TERM增强了对异常值的鲁棒性，提升了子群体间的公平性，降低了方差以改善泛化性能，并有效处理类别不平衡问题——在多种机器学习应用中，其表现优于或匹配了多种专用方法，仅使用一个可调节的统一目标函数。

ABSTRACT

Empirical risk minimization (ERM) is typically designed to perform well on the average loss, which can result in estimators that are sensitive to outliers, generalize poorly, or treat subgroups unfairly. While many methods aim to address these problems individually, in this work, we explore them through a unified framework -- tilted empirical risk minimization (TERM). In particular, we show that it is possible to flexibly tune the impact of individual losses through a straightforward extension to ERM using a hyperparameter called the tilt. We provide several interpretations of the resulting framework: We show that TERM can increase or decrease the influence of outliers, respectively, to enable fairness or robustness; has variance-reduction properties that can benefit generalization; and can be viewed as a smooth approximation to a superquantile method. We develop batch and stochastic first-order optimization methods for solving TERM, and show that the problem can be efficiently solved relative to common alternatives. Finally, we demonstrate that TERM can be used for a multitude of applications, such as enforcing fairness between subgroups, mitigating the effect of outliers, and handling class imbalance. TERM is not only competitive with existing solutions tailored to these individual problems, but can also enable entirely new applications, such as simultaneously addressing outliers and promoting fairness.

研究动机与目标

• 为解决标准ERM的局限性，即优化平均性能，但对异常值敏感、子群体处理不公平或泛化性能差。
• 将异常值鲁棒性、公平性、类别不平衡和方差减少等不同挑战统一到一个灵活的优化框架下。
• 证明TERM能够同时解决多个问题（如公平性与鲁棒性），而现有方法通常仅能应对单一问题。
• 为TERM在多种机器学习应用中的有效性提供理论和实证依据。

提出的方法

• TERM通过倾斜超参数t扩展了ERM，定义目标函数为 R̃(t;θ) = (1/t) log( (1/N) Σ e^{t f(xi;θ)} )，在t=0时退化为标准ERM。
• 当t < 0时，TERM抑制大损失，降低异常值影响，提升鲁棒性；当t > 0时，它放大损失，促进极小化最大损失或方差减少行为。
• 该框架被解释为对超分位数（条件风险价值）方法的平滑近似，从而与鲁棒优化建立联系。
• 开发了批量和随机一阶优化方法，以高效求解TERM，支持实际部署。
• 在实验中自适应调整倾斜参数t，负值用于鲁棒性和公平性，正值用于方差减少或类别不平衡处理。
• TERM被应用于多个任务：鲁棒回归、公平主成分分析（PCA）、类别不平衡分类和方差减少，采用一致的优化策略和超参数调优。

实验结果

研究问题

• RQ1 一个统一的框架能否有效替代多种专用方法，以处理机器学习中的异常值、公平性和类别不平衡问题？
• RQ2 倾斜超参数t如何控制平均性能与最差情况或子群体特定性能之间的权衡？
• RQ3 与标准ERM相比，TERM在通过方差减少改善泛化性能方面能达到何种程度？
• RQ4 TERM能否同时解决多个挑战（如公平性与鲁棒性），而现有方法通常仅能应对单一挑战？
• RQ5 在鲁棒学习、公平性和类别不平衡分类方面，TERM与最先进方法相比的实证表现如何？

主要发现

• 当t = -2时，TERM在回归和分类任务中有效抑制了异常值，在高噪声环境下（如80%数据被污染）优于Huber损失和CRR方法。
• 在公平PCA中，TERM实现了与专用方法相当或更优的性能，有效降低了子群体间的差异性，同时保持了模型准确性。
• 在类别不平衡分类任务中，通过自适应t调优，TERM在高噪声和高不平衡条件下，性能匹配或超越了焦点损失（focal loss）和LearnReweight方法。
• 使用正值t的TERM通过降低方差改善了泛化性能，线性SVM实验中通过调优决策阈值得到了验证。
• 该框架成功同时解决了多个挑战（如公平性与鲁棒性），证明其灵活性超越了单一功能的解决方案。
• 实证结果表明，TERM对超参数选择具有鲁棒性，且可使用随机一阶方法高效优化。