[论文解读] Robust descent using smoothed multiplicative noise

Matthew J. Holland|arXiv (Cornell University)|Oct 15, 2018

Gaussian Processes and Bayesian Inference参考文献 11被引用 9

一句话总结

本文提出了一种新颖的鲁棒梯度下降算法，该算法在计算软截断梯度坐标之前对观测值应用平滑的乘性噪声，从而在计算开销极低的情况下实现强大的理论保证。该方法在重尾分布和次高斯分布数据上均表现出优越的泛化性能，且无需迭代鲁棒化子程序。

ABSTRACT

To improve the off-sample generalization of classical procedures minimizing the empirical risk under potentially heavy-tailed data, new robust learning algorithms have been proposed in recent years, with generalized median-of-means strategies being particularly salient. These procedures enjoy performance guarantees in the form of sharp risk bounds under weak moment assumptions on the underlying loss, but typically suffer from a large computational overhead and substantial bias when the data happens to be sub-Gaussian, limiting their utility. In this work, we propose a novel robust gradient descent procedure which makes use of a smoothed multiplicative noise applied directly to observations before constructing a sum of soft-truncated gradient coordinates. We show that the procedure has competitive theoretical guarantees, with the major advantage of a simple implementation that does not require an iterative sub-routine for robustification. Empirical tests reinforce the theory, showing more efficient generalization over a much wider class of data distributions.

研究动机与目标

• 解决标准经验风险最小化（ERM）在重尾数据分布下的泛化性能差的问题。
• 克服现有鲁棒方法（如中位数法和M-estimators）在次高斯设定下计算成本高且存在偏差的问题。
• 开发一种鲁棒梯度下降过程，既能保持强理论保证，又能实现简单、非迭代的实现方式。
• 在包括重尾和轻尾在内的广泛数据分布中，提升泛化效率。

提出的方法

• 在梯度计算之前，直接对输入观测值应用平滑的乘性噪声，以在重尾损失下稳定学习过程。
• 基于噪声观测值构建软截断梯度坐标的和，以降低对异常值的敏感性。
• 使用基于正态分布CDF和PDF的校正项，对期望梯度偏差进行解析界约束。
• 采用非迭代、闭式计算方式获得鲁棒梯度估计，避免M-estimators或中位数法中使用的昂贵子程序。
• 在弱矩假设下，利用集中不等式和梯度偏差的尾部界，推导理论风险界。
• 通过基于方差和维度的缩放因子对梯度估计进行归一化，以确保稳定性。

实验结果

研究问题

• RQ1 能否设计一种鲁棒梯度下降方法，在避免迭代子程序的同时保持强理论保证？
• RQ2 所提方法在重尾和次高斯数据分布下的泛化误差表现如何？
• RQ3 与现有鲁棒学习算法（如中位数法或M-estimators）相比，该方法的计算成本如何？
• RQ4 使用平滑乘性噪声是否能带来优于传统鲁棒化技术的偏差-方差权衡？
• RQ5 在弱矩假设下，该方法能否在不依赖强分布假设的前提下实现近似最优风险界？

主要发现

• 所提方法在弱矩假设下实现了具有竞争力的风险界，与现有鲁棒方法相比达到或超越其性能。
• 实证结果表明，该方法在包括重尾和次高斯情况在内的多种噪声分布下，泛化性能显著优于ERM-GD。
• 由于采用非迭代、闭式梯度计算，该方法保持了极低的计算成本，避免了迭代鲁棒化带来的开销。
• 在固定 $ n/d $ 比例的高维设置下，该方法在包括帕累托、拉普拉斯和威布尔在内的多种噪声族中均表现出稳定性能。
• 通过涉及标准正态分布CDF和PDF的校正项，推导出梯度偏差的理论上限，从而实现精确的风险控制。
• 在不同样本量、噪声水平和维度下，性能均表现稳健，且在重尾噪声下的回归任务中一致实现误差降低。