[论文解读] Robust estimation via generalized quasi-gradients

Banghua Zhu, Jiantao Jiao+1 more|arXiv (Cornell University)|May 28, 2020

Sparse and Compressive Sensing Techniques参考文献 35被引用 15

一句话总结

本文引入广义拟梯度以解释为何非凸鲁棒估计问题（如有界协方差下的均值估计、线性回归和联合均值-协方差估计）可高效求解。证明在特定条件下，任意一阶驻点均为近似全局最小值，从而实现具有最优 breakdown 点（高达 1/2）的高效算法，并获得改进的误差率，包括在超可积性条件下线性回归的 O(ε) 误差率。

ABSTRACT

We explore why many recently proposed robust estimation problems are efficiently solvable, even though the underlying optimization problems are non-convex. We study the loss landscape of these robust estimation problems, and identify the existence of "generalized quasi-gradients". Whenever these quasi-gradients exist, a large family of low-regret algorithms are guaranteed to approximate the global minimum; this includes the commonly-used filtering algorithm. For robust mean estimation of distributions under bounded covariance, we show that any first-order stationary point of the associated optimization problem is an {approximate global minimum} if and only if the corruption level $ε< 1/3$. Consequently, any optimization algorithm that aproaches a stationary point yields an efficient robust estimator with breakdown point $1/3$. With careful initialization and step size, we improve this to $1/2$, which is optimal. For other tasks, including linear regression and joint mean and covariance estimation, the loss landscape is more rugged: there are stationary points arbitrarily far from the global minimum. Nevertheless, we show that generalized quasi-gradients exist and construct efficient algorithms. These algorithms are simpler than previous ones in the literature, and for linear regression we improve the estimation error from $O(\sqrtε)$ to the optimal rate of $O(ε)$ for small $ε$ assuming certified hypercontractivity. For mean estimation with near-identity covariance, we show that a simple gradient descent algorithm achieves breakdown point $1/3$ and iteration complexity $ ilde{O}(d/ε^2)$.

研究动机与目标

• 解释为何尽管存在明显的计算困难，非凸优化景观下的鲁棒估计问题在实践中仍可高效求解。
• 识别损失景观的结构性质——特别是广义拟梯度的存在性——以实现高效优化。
• 为鲁棒均值估计、线性回归和联合均值-协方差估计设计新型、更简单的算法，实现改进的收敛性与误差率。
• 实现最优 breakdown 点（高达 1/2）与改进的估计误差率，包括在超可积性条件下线性回归的 O(ε) 误差率。
• 通过在多个统计任务中利用广义拟梯度概念，统一并推广现有鲁棒估计算法。

提出的方法

• 引入广义拟梯度的概念，作为损失景观的一种结构性质，确保收敛至近似全局最小值。
• 证明在有界协方差下的鲁棒均值估计中，若污染水平 ε < 1/3，则任意一阶驻点均为近似全局最小值；通过适当初始化，breakdown 点可提升至 1/2。
• 设计基于广义拟梯度的显式低遗憾与滤波算法，其结构比先前方法更简单，并实现最优或近似最优的误差率。
• 将该框架应用于超可积性条件下的线性回归，实现 O(ε) 的估计误差率（相比先前的 O(√ε) 有所改进），并为联合均值与协方差估计设计高效算法。
• 通过仔细的初始化与步长选择，使用梯度下降法实现鲁棒均值估计的 breakdown 点为 1/3，迭代复杂度为 ˜O(d/ε²)，适用于近单位协方差情形。
• 将鲁棒估计问题表述为 ε 删除分布上的可行性问题，并证明广义拟梯度可使一阶方法收敛至优质解。

实验结果

研究问题

• RQ1 为何许多非凸鲁棒估计问题在实践中可高效求解，尽管其看似计算上不可行？
• RQ2 在损失景观的何种条件下，广义拟梯度的存在性可保证收敛至近似全局最小值？
• RQ3 能否通过广义拟梯度与合理的算法设计，将鲁棒估计器的 breakdown 点提升至 1/3 以上？
• RQ4 能否为线性回归与联合均值-协方差估计构造广义拟梯度，以实现高效、低遗憾的算法？
• RQ5 在超可积性条件下，线性回归的最优估计误差率是多少？能否通过一阶方法实现该误差率？

主要发现

• 在有界协方差下的鲁棒均值估计中，若 ε < 1/3，则任意一阶驻点均为近似全局最小值；通过适当初始化，breakdown 点可达 1/2，为最优值。
• 在经认证的超可积性条件下，所提算法实现最优的 O(ε) 估计误差率，优于先前的 O(√ε) 误差率。
• 针对近单位协方差的均值估计，一种简单梯度下降算法实现 breakdown 点为 1/3，迭代复杂度为 ˜O(d/ε²)。
• 广义拟梯度框架使联合均值与协方差估计的算法设计更简单、更高效，优于先前工作。
• 基于广义拟梯度的滤波算法无法实现任意小的协方差失真（即当 ε → 0 时 C(ε) → 1），但该局限性可通过重新表述目标函数得以克服。
• 所提算法的迭代复杂度优于先前工作：对于次高斯分布，复杂度为 O(d/τ²)，其中 τ = Ω(ε log(1/ε))，显著优于先前方法中的 O(nd³/ε)。