[论文解读] On the Convergence of A Family of Robust Losses for Stochastic Gradient Descent

Bo Han, Ivor W. Tsang+1 more|arXiv (Cornell University)|May 5, 2016

Sparse and Compressive Sensing Techniques参考文献 21被引用 6

一句话总结

该论文提出了一类鲁棒损失函数——具体为平滑Ramp损失（Smooth Ramp Loss）和反向Gompertz损失（Reversed Gompertz Loss）——用于随机梯度下降（SGD），以减轻噪声标签的负面影响。通过引入一种具有阈值、平滑且局部强凸的损失函数，该方法确保了在速率𝒪(1/T)下的稳定收敛，并在六个具有高标签噪声的真实世界数据集上，相较于基线方法展现出更优的鲁棒性与更快的收敛速度。

ABSTRACT

The convergence of Stochastic Gradient Descent (SGD) using convex loss functions has been widely studied. However, vanilla SGD methods using convex losses cannot perform well with noisy labels, which adversely affect the update of the primal variable in SGD methods. Unfortunately, noisy labels are ubiquitous in real world applications such as crowdsourcing. To handle noisy labels, in this paper, we present a family of robust losses for SGD methods. By employing our robust losses, SGD methods successfully reduce negative effects caused by noisy labels on each update of the primal variable. We not only reveal that the convergence rate is O(1/T) for SGD methods using robust losses, but also provide the robustness analysis on two representative robust losses. Comprehensive experimental results on six real-world datasets show that SGD methods using robust losses are obviously more robust than other baseline methods in most situations with fast convergence.

研究动机与目标

• 解决大规模机器学习中标签噪声带来的关键挑战，其中噪声标签会通过扭曲梯度更新而降低SGD的性能。
• 开发一类基于阈值且平滑的鲁棒损失函数，以最小化误标异常值对主变量更新的影响。
• 在高噪声率条件下，对快速收敛与鲁棒性的理论与实证验证，尤其在标准凸损失失效的情境下。
• 提升SGD在现实应用场景（如众包与隐式反馈系统）中的泛化能力与训练稳定性，这些场景中标签噪声普遍存在。

提出的方法

• 引入一类基于阈值机制（如Ramp损失）的鲁棒损失函数，以限制误标样本的梯度贡献，将其视为异常值处理。
• 提出平滑Ramp损失（SRamp）与反向Gompertz损失（RGomp），作为非光滑Ramp损失的平滑且局部强凸的近似，以支持高效的SGD优化。
• 形式化SGD在使用这些鲁棒损失时的收敛速率，证明其在噪声条件下的理论稳定性，收敛速率为𝒪(1/T)。
• 在大规模数据集上应用SGD结合新损失函数，采用小批量更新以降低内存与计算成本，同时保持鲁棒性。
• 通过参数化阈值（如$s^*$）控制异常值抑制与模型准确率之间的鲁棒性权衡。
• 通过在六个具有不同噪声水平的真实世界数据集上进行广泛实验，将所提方法与PEGASOS、SGD结合逻辑/合页/Ramp损失以及ASGD等基线方法进行对比。

实验结果

研究问题

• RQ1 基于阈值的鲁棒损失函数家族是否能提升SGD在高标签噪声条件下的收敛性与鲁棒性？
• RQ2 当使用SRamp与RGomp等平滑鲁棒损失时，SGD的理论收敛速率是多少？
• RQ3 在噪声标签条件下，SRamp与RGomp与标准凸损失（如逻辑损失、合页损失、Ramp损失）在泛化能力与方差方面有何对比？
• RQ4 所提方法是否在干净数据集上保持强性能，同时在高噪声条件下表现出色？
• RQ5 非凸鲁棒损失的平滑且局部强凸的近似是否能实现高效且稳定的SGD优化？

主要发现

• 使用平滑Ramp损失的SGD（SGD(SRamp)）与反向Gompertz损失的SGD（SGD(RGomp)）实现了𝒪(1/T)的收敛速率，与标准SGD一致，但鲁棒性显著增强。
• 在具有60%噪声标签的IJCNN1数据集上，SGD(SRamp)与SGD(RGomp)的测试误差分别降低至6.49% ± 0.12与6.45% ± 0.02，优于SGD(Log)的9.08% ± 0.48。
• 在高维REAL-SIM数据集上，SGD(SRamp)与SGD(RGomp)在所有噪声水平（0%至40%）下均保持最低的测试误差与方差，即使在40%噪声下误差率也低于2.5%。
• SGD(SRamp)与SGD(RGomp)的测试误差方差在不同噪声水平下保持稳定，而基线方法如PEGASOS在噪声增加时方差显著上升。
• 在干净数据集（如IJCNN1、COVTYPE、SUSY）上，SGD(SRamp)与SGD(RGomp)的测试误差低于所有基线方法，包括ASGD与PEGASOS，证明其在非噪声场景下也具备泛化优势。
• SGD(Ramp)因非光滑性与非凸性表现欠佳，证实了平滑近似对实现稳定SGD收敛的必要性。