[论文解读] Robust Regression via Hard Thresholding

Kush Bhatia, Prateek Jain+1 more|arXiv (Cornell University)|Jun 8, 2015

Sparse and Compressive Sensing Techniques参考文献 19被引用 77

一句话总结

该论文提出 Torrent-FC，一种用于鲁棒最小二乘回归的硬阈值算法，即使响应变量中高达常数比例的数据被对抗性污染，也能精确恢复真实模型向量 $\mathbf{w}^*$。该方法交替识别干净数据点并基于最小二乘法更新模型，在设计矩阵 $X$ 满足温和的确定性条件（包括次高斯抽样）下实现精确恢复，且无需污染与 $X$ 之间相互独立。其关键贡献在于提供了一个适用于任意 $\mathbf{w}^*$ 的通用恢复保证，不同于以往基于 $L_1$ 的方法，后者需对污染或数据分布施加严格假设。

ABSTRACT

We study the problem of Robust Least Squares Regression (RLSR) where several response variables can be adversarially corrupted. More specifically, for a data matrix X \in R^{p x n} and an underlying model w*, the response vector is generated as y = X'w* + b where b \in R^n is the corruption vector supported over at most C.n coordinates. Existing exact recovery results for RLSR focus solely on L1-penalty based convex formulations and impose relatively strict model assumptions such as requiring the corruptions b to be selected independently of X. In this work, we study a simple hard-thresholding algorithm called TORRENT which, under mild conditions on X, can recover w* exactly even if b corrupts the response variables in an adversarial manner, i.e. both the support and entries of b are selected adversarially after observing X and w*. Our results hold under deterministic assumptions which are satisfied if X is sampled from any sub-Gaussian distribution. Finally unlike existing results that apply only to a fixed w*, generated independently of X, our results are universal and hold for any w* \in R^p. Next, we propose gradient descent-based extensions of TORRENT that can scale efficiently to large scale problems, such as high dimensional sparse recovery and prove similar recovery guarantees for these extensions. Empirically we find TORRENT, and more so its extensions, offering significantly faster recovery than the state-of-the-art L1 solvers. For instance, even on moderate-sized datasets (with p = 50K) with around 40% corrupted responses, a variant of our proposed method called TORRENT-HYB is more than 20x faster than the best L1 solver.

研究动机与目标

• 为解决现有基于 $L_1$ 的凸优化方法在鲁棒最小二乘回归（RLSR）中的局限性，这些方法需依赖于污染与设计矩阵独立以及数据分布为等向性或非相干性的严格假设。
• 开发一种简单直观的基于阈值的算法，即使污染向量 $\mathbf{b}$ 在观察到 $X$ 和 $\mathbf{w}^*$ 后被对抗性选择，也能精确恢复真实模型向量 $\mathbf{w}^*$。
• 为所提算法提供非渐近、确定性的恢复保证，该保证对任意 $\mathbf{w}^* \in \mathbb{R}^p$ 均成立，且无需 $\mathbf{w}^*$ 固定或与 $X$ 独立。
• 通过提出基于梯度下降的扩展（如 Torrent-HYB）将算法扩展至大规模问题，同时保持强恢复保证并提升计算效率。

提出的方法

• 核心算法 Torrent-FC 通过识别当前模型估计中残差误差最小的 $n - Cn$ 个数据点，迭代估计一组 '干净' 数据点 $S_t$。
• 在每次迭代中，通过在当前活跃集 $S_t$ 上求解最小二乘问题来更新模型向量 $\mathbf{w}^{t+1}$，即最小化 $\sum_{i \in S_t} (y_i - \mathbf{x}_i^T \mathbf{w})^2$。
• 该算法交替进行最可能干净点的识别与模型的精炼，利用对抗性污染会产生较大残差从而被排除在活跃集之外的特性。
• 理论分析依赖于对设计矩阵子高斯行为的控制，并利用卡方分布的集中不等式来控制真实模型下残差的分布。
• 通过基于梯度下降的变体（如 Torrent-HYB）将该方法扩展至大规模场景，这些变体在保持相同恢复保证的同时，实现了对高维或稀疏问题的高效优化。
• 关键技术组件是采用确定性、非概率性分析，证明在 $X$ 满足如次高斯尾部等温和假设下可实现精确恢复，且无需 $\mathbf{b}$ 与 $X$ 独立。

实验结果

研究问题

• RQ1 能否设计一种简单基于阈值的算法，在污染向量 $\mathbf{b}$ 在观察到 $X$ 和 $\mathbf{w}^*$ 后被对抗性选择的情况下，仍能精确恢复真实回归模型 $\mathbf{w}^*$？
• RQ2 所提算法是否在设计矩阵 $X$ 的确定性假设（如次高斯抽样）下保持精确恢复保证，而无需依赖等向性或非相干结构？
• RQ3 能否将该算法扩展至大规模问题（如高维稀疏恢复），同时保持强理论恢复保证？
• RQ4 与最先进的基于 $L_1$ 的求解器相比，该基于阈值的方法在恢复精度和计算速度方面表现如何？

主要发现

• Torrent-FC 在 $X$ 的确定性条件下实现 $\mathbf{w}^*$ 的精确恢复，包括当 $X$ 从任意次高斯分布中抽样时，且无需污染向量 $\mathbf{b}$ 与 $X$ 独立。
• 该恢复保证具有通用性：对任意 $\mathbf{w}^* \in \mathbb{R}^p$ 均成立，即使 $\mathbf{w}^*$ 在观察到 $X$ 后被对抗性选择，这显著优于以往基于 $L_1$ 的方法，后者要求 $\mathbf{w}^*$ 固定或与 $X$ 独立。
• 该算法可容忍高达常数比例 $C \cdot n$ 的响应污染，只要设计矩阵满足温和的次高斯条件，即可保证精确恢复。
• 实验结果表明，一种名为 Torrent-HYB 的变体在中等规模数据集（$p = 50K$）上，当响应污染比例约为 40% 时，比最佳 $L_1$ 求解器快 20 倍以上，同时保持相当或更优的恢复精度。
• 理论分析表明，该算法的收敛性由真实模型下残差的集中性驱动，其界通过卡方集中不等式和次指数范数控制推导得出。
• 在各种 $p$、$n$ 和噪声水平 $\sigma$ 的设置下，大量实验证明该方法在恢复误差和运行时间方面均优于最先进的 $L_1$ 求解器。