[论文解读] Robust Regression Revisited: Acceleration and Improved Estimation Rates

Arun Jambulapati, Jerry Li+2 more|arXiv (Cornell University)|Jun 22, 2021

Machine Learning and Algorithms参考文献 40被引用 7

一句话总结

该论文提出了一种新型加速鲁棒回归算法，在强污染模型下实现了改进的估计速率和近乎线性的运行时间，其中高达 $\epsilon$ 分数的数据被对抗性地破坏。通过结合鲁棒梯度估计与基于 Moreau 包络的加速优化，该方法在 $O(\sqrt{\kappa\epsilon/\mu})$ 的统计误差下，实现了 $O(\text{poly}(\log n) \cdot d/\epsilon)$ 的样本复杂度和近乎线性的时间复杂度，显著优于先前的工作。

ABSTRACT

We study fast algorithms for statistical regression problems under the strong contamination model, where the goal is to approximately optimize a generalized linear model (GLM) given adversarially corrupted samples. Prior works in this line of research were based on the robust gradient descent framework of Prasad et. al., a first-order method using biased gradient queries, or the Sever framework of Diakonikolas et. al., an iterative outlier-removal method calling a stationary point finder. We present nearly-linear time algorithms for robust regression problems with improved runtime or estimation guarantees compared to the state-of-the-art. For the general case of smooth GLMs (e.g. logistic regression), we show that the robust gradient descent framework of Prasad et. al. can be accelerated, and show our algorithm extends to optimizing the Moreau envelopes of Lipschitz GLMs (e.g. support vector machines), answering several open questions in the literature. For the well-studied case of robust linear regression, we present an alternative approach obtaining improved estimation rates over prior nearly-linear time algorithms. Interestingly, our method starts with an identifiability proof introduced in the context of the sum-of-squares algorithm of Bakshi and Prasad, which achieved optimal error rates while requiring large polynomial runtime and sample complexity. We reinterpret their proof within the Sever framework and obtain a dramatically faster and more sample-efficient algorithm under fewer distributional assumptions.

研究动机与目标

• 解决广义线性模型中高达 $\epsilon$ 分数的数据被对抗性破坏时的鲁棒参数估计挑战。
• 在强污染模型下，改进现有鲁棒回归算法的估计误差率与运行时间效率。
• 通过利用噪声梯度预言机与 Moreau 包络进行正则化，实现鲁棒回归的加速收敛。
• 提供与维度无关的统计保证，且在 $\epsilon$ 和条件数 $\kappa$ 上具有有利的可扩展性。
• 证明在光滑性和正则性假设下，鲁棒梯度下降可被加速以达到最优 $O(\sqrt{\kappa}\epsilon)$ 误差率。

提出的方法

• 该方法基于鲁棒均值估计的噪声梯度预言机，在存在污染数据时近似梯度。
• 引入正则化的 Moreau 包络以平滑目标函数，并实现加速优化。
• 该算法对正则化的 Moreau 包络应用 Nesterov 风格加速，收敛速度优于标准鲁棒梯度下降。
• 关键组件是使用无需半径的噪声梯度预言机，其样本复杂度为 $O(\text{poly}(\log n) \cdot d/\epsilon)$，每次查询的时间接近线性。
• 分析利用了 Moreau 包络的光滑性和利普希茨性质，并对梯度误差传播进行了界控。
• 结合鲁棒过滤与迭代距离缩减，确保在 $O(\sqrt{\kappa\epsilon/\mu})$ 误差范围内收敛至真实参数。

实验结果

研究问题

• RQ1 在对抗性破坏存在的情况下，鲁棒梯度下降能否被加速以达到最优收敛速率？
• RQ2 在强污染下，鲁棒回归中统计误差与计算效率之间的最优权衡是什么？
• RQ3 Moreau 包络能否用于构建稳定且加速的鲁棒回归优化框架？
• RQ4 在高维、污染数据下，如何高效构建样本复杂度低的噪声梯度预言机？
• RQ5 在光滑性和正则性假设下，鲁棒回归的最优估计误差率是什么？

主要发现

• 所提算法以高概率实现 $O(\sqrt{\kappa\epsilon/\mu})$ 的统计误差，优于先前的非加速方法。
• 该算法运行时间为 $O(\text{poly}(\log n) \cdot nd/\epsilon)$，在数据集大小 $nd$ 上实现近乎线性运行时间。
• 噪声梯度预言机的样本复杂度为 $O(\log(1/\delta\epsilon) \cdot d\log(d/\epsilon)/\epsilon)$，主导项与维度无关。
• 该方法证明了鲁棒梯度下降可被加速以匹配光滑、强凸优化的理论下界。
• 分析表明，在适当条件下，到最优解的平方距离每轮迭代以 $1 - \Omega(\epsilon)$ 的速率几何递减。
• 该方法实现了与维度无关的误差保证，仅依赖于 $\epsilon$ 和条件数 $\kappa$，适用于高维场景。