[论文解读] Online Robust Regression via SGD on the l1 loss

Scott Pesme, Nicolas Flammarion|arXiv (Cornell University)|Jul 1, 2020

Sparse and Compressive Sensing Techniques参考文献 84被引用 12

一句话总结

本文提出一种基于随机梯度下降（SGD）在ℓ₁损失上的在线鲁棒回归算法，用于处理流数据中的对抗性异常值。通过利用高斯特征的平滑效应和Polyak-Ruppert平均化，该算法实现了Õ(1/n)的快速收敛速率，即使在高比例异常值（η < 1）下也能一致地恢复真实参数，且无需批量处理或异常值检测。

ABSTRACT

We consider the robust linear regression problem in the online setting where we have access to the data in a streaming manner, one data point after the other. More specifically, for a true parameter $θ^*$, we consider the corrupted Gaussian linear model $y = \langle x , \ θ^* angle + \varepsilon + b$ where the adversarial noise $b$ can take any value with probability $η$ and equals zero otherwise. We consider this adversary to be oblivious (i.e., $b$ independent of the data) since this is the only contamination model under which consistency is possible. Current algorithms rely on having the whole data at hand in order to identify and remove the outliers. In contrast, we show in this work that stochastic gradient descent on the $\ell_1$ loss converges to the true parameter vector at a $ ilde{O}( 1 / (1 - η)^2 n )$ rate which is independent of the values of the contaminated measurements. Our proof relies on the elegant smoothing of the non-smooth $\ell_1$ loss by the Gaussian data and a classical non-asymptotic analysis of Polyak-Ruppert averaged SGD. In addition, we provide experimental evidence of the efficiency of this simple and highly scalable algorithm.

研究动机与目标

• 开发一种高效、可扩展的在线算法，用于在流数据中存在对抗性污染的条件下进行鲁棒线性回归。
• 在存在一个对手（oblivious adversary）污染测量值中的一部分（比例为η）的情况下，实现参数的一致恢复。
• 克服批量算法的局限性，后者需要完整的数据访问，难以应用于大规模或实时应用。
• 在不强凸性假设下，仅使用ℓ₁损失和SGD，实现最优的非渐近收敛速率。
• 证明SGD在ℓ₁损失上既能实现统计最优性，又具备计算可扩展性，适用于在线场景。

提出的方法

• 该算法在期望ℓ₁损失E[|y − ⟨x, θ⟩|]上使用平均化的随机梯度下降（SGD）。
• 利用高斯设计矩阵对非光滑ℓ₁损失的平滑效应，使真实参数θ*附近呈现局部强凸性。
• 应用Polyak-Ruppert平均化，以在非强凸设定下实现更快的收敛速率。
• 该方法本质上是在线的，一次处理一个数据点，因此适用于大规模和流式应用场景。
• 分析基于最近在随机逼近和平均SGD的非渐近分析方面的进展。
• 仅需对协变量范数提供一个上界，使其在实际应用中近乎无参数化。

实验结果

研究问题

• RQ1 在对抗性异常值污染下，SGD在ℓ₁损失上能否实现在在线鲁棒回归中的快速收敛？
• RQ2 高斯特征的平滑效应是否能引发类似强凸性的行为，从而加速非光滑、非强凸问题的收敛？
• RQ3 尽管ℓ₁损失不可微，平均SGD在ℓ₁损失上能否实现Õ(1/n)的收敛速率？
• RQ4 该算法是否对高比例异常值（η < 1）具有鲁棒性，并对特征条件不佳不敏感？
• RQ5 一个简单、可扩展的在线算法能否在效率和统计一致性方面超越批量方法？

主要发现

• 所提算法实现了非渐近收敛速率Õ(1/(1−η)²n)，该速率最优且与异常值大小无关。
• 收敛速率依赖于有效异常值比例˜η < η，使该方法对对手的困难程度具有自适应性。
• 尽管ℓ₁损失是非光滑且非强凸的，但由于高斯平滑和Polyak-Ruppert平均化，该算法仍可实现O(1/n)的收敛速率。
• 该方法具有高度可扩展性，适用于在线和大规模应用，因其顺序处理数据，无需存储全部数据。
• 实验结果证实了该算法在实时环境中检测异常值和处理重尾噪声方面的高效性与鲁棒性。
• 该算法近乎无参数化，仅需协变量范数的上界，显著提升了实际可用性。