[论文解读] Spectral risk-based learning using unbounded losses

Matthew J. Holland, El Mehdi Haress|arXiv (Cornell University)|May 11, 2021

Fault Detection and Control Systems参考文献 35被引用 5

一句话总结

该论文提出了一种基于无界、重尾损失分布的无导数谱风险最小化学习框架。通过结合随机平滑与置信度增强，该方法在仅假设二阶矩有限的条件下，实现了期望意义上的有限样本超额风险界和高概率保证，其计算高效的变体在基准数据集上的谱风险和误分类误差方面均优于标准经验风险最小化方法。

ABSTRACT

In this work, we consider the setting of learning problems under a wide class of spectral risk (or "L-risk") functions, where a Lipschitz-continuous spectral density is used to flexibly assign weight to extreme loss values. We obtain excess risk guarantees for a derivative-free learning procedure under unbounded heavy-tailed loss distributions, and propose a computationally efficient implementation which empirically outperforms traditional risk minimizers in terms of balancing spectral risk and misclassification error.

研究动机与目标

• 解决在无界、重尾损失分布下谱风险缺乏鲁棒学习框架的问题。
• 开发一种计算高效的传统经验风险最小化替代方法，以平衡谱风险与分类误差。
• 在弱于以往工作的矩假设下，提供有限样本超额风险保证。
• 将谱风险最小化的适用范围扩展至非凸与有界损失设定之外。
• 通过实证验证，所提方法在实践中可实现超越标准ERM的泛化性能。

提出的方法

• 该方法使用随机平滑技术近似谱风险函数，实现无导数优化。
• 通过使用样本分割的算法1改进版本，推导出期望意义上的有限样本超额谱风险界。
• 应用置信度增强，将基于期望的界转化为仅需二阶矩有限条件下的高概率保证。
• 改进的实现方式整合损失的梯度信息，以加速收敛，同时保持鲁棒性。
• 通过子采样与方差控制，确保在重尾分布下谱风险的稳定估计。
• 理论保证通过多个子过程的并集界推导，结合了集中不等式与有界方差假设。

实验结果

研究问题

• RQ1 在无界、重尾损失分布下，无导数学习过程能否实现有限样本超额谱风险界？
• RQ2 当仅假设二阶矩有限时，如何建立高概率超额风险保证？
• RQ3 该方法的计算高效变体能否在谱风险与误分类误差两方面均优于标准经验风险最小化？
• RQ4 所提方法在具有不同损失尾部行为的多样化基准数据集上，其泛化能力在多大程度上得以体现？
• RQ5 整合梯度信息如何在不损害鲁棒性的前提下影响收敛速度？

主要发现

• 所提无导数方法在仅假设谱密度为Lipschitz连续且二阶矩有限的条件下，实现了期望意义上的有限样本超额谱风险界。
• 通过置信度增强与子采样，在仅假设二阶矩有限的条件下，建立了高概率超额风险界。
• 改进的、集成梯度信息的变体在多个数据集上收敛更快，且谱风险低于标准ERM。
• 实证结果表明，该方法在包括adult、cifar10、emnist_balanced和fashion_mnist在内的多个基准数据集上，误分类误差始终优于ERM。
• 理论分析表明，即使在重尾损失分布下，该方法的超额风险衰减速率仍与最优界一致。
• 该方法在无需有界或次高斯损失假设的前提下，保持了强大的泛化性能，扩展了先前谱风险学习结果的适用范围。