[论文解读] Query Complexity of Least Absolute Deviation Regression via Robust Uniform Convergence

Xue Chen, Michał Dereziński|arXiv (Cornell University)|Feb 3, 2021

Stochastic Gradient Optimization Techniques参考文献 29被引用 4

一句话总结

本文首次建立了最小绝对偏差（L1）回归的紧致查询复杂度界限，表明其在对数因子范围内需要 Θ(d/ε²) 次查询。本文提出了鲁棒一致收敛——一种新颖的分析框架，通过校正重要性采样中由异常值引起的方差，实现了在查询受限条件下对 L1 回归的首个非平凡保证。

ABSTRACT

Consider a regression problem where the learner is given a large collection of $d$-dimensional data points, but can only query a small subset of the real-valued labels. How many queries are needed to obtain a $1+ε$ relative error approximation of the optimum? While this problem has been extensively studied for least squares regression, little is known for other losses. An important example is least absolute deviation regression ($\ell_1$ regression) which enjoys superior robustness to outliers compared to least squares. We develop a new framework for analyzing importance sampling methods in regression problems, which enables us to show that the query complexity of least absolute deviation regression is $Θ(d/ε^2)$ up to logarithmic factors. We further extend our techniques to show the first bounds on the query complexity for any $\ell_p$ loss with $p\in(1,2)$. As a key novelty in our analysis, we introduce the notion of robust uniform convergence, which is a new approximation guarantee for the empirical loss. While it is inspired by uniform convergence in statistical learning, our approach additionally incorporates a correction term to avoid unnecessary variance due to outliers. This can be viewed as a new connection between statistical learning theory and variance reduction techniques in stochastic optimization, which should be of independent interest.

研究动机与目标

• 解决鲁棒回归中查询复杂度的开放问题，特别是针对 L1（最小绝对偏差）回归。
• 克服 L1 回归中缺乏闭式解以及对异常值敏感的问题，这些因素阻碍了以往的查询复杂度分析。
• 开发一种新的理论框架，用于分析在标签访问受限条件下的回归中重要性采样方法。
• 将分析扩展至 ℓp 回归（p ∈ (1,2)），为这类损失提供首个已知的查询复杂度界限。
• 通过鲁棒一致收敛，建立统计学习理论与随机优化中方差减少之间的新联系。

提出的方法

• 提出鲁棒一致收敛——一种新的近似保证，通过在标准一致收敛基础上增加一个校正项，以减少异常值引起的方差。
• 采用 Lewis 权重采样进行重要性采样，利用其 ℓ1 子空间嵌入性质，确保经验损失的稳定近似。
• 通过归约到一个二元通信博弈来证明查询复杂度的下界，基于回归系数符号模式构造困难实例。
• 通过标签分布上的概率论证分析期望查询成本，使用集中不等式和联合界控制失败概率。
• 结合上下界分析，证明查询复杂度在对数因子范围内是紧致的。
• 证明算法输出的符号模式在高概率下与最优解在至少 99% 的坐标上一致，从而在通信博弈中构造出获胜策略。

实验结果

研究问题

• RQ1 当只能查询标签子集时，最小绝对偏差（L1）回归的查询复杂度是多少？
• RQ2 鲁棒一致收敛能否为 ℓ1 等非光滑、对异常值敏感的损失中的重要性采样提供稳定分析框架？
• RQ3 ℓp 回归（p ∈ (1,2)）的查询复杂度如何随参数变化，能否使用类似技术进行有界化？
• RQ4 能否在鲁棒回归中建立统计学习理论与随机优化中方差减少之间的联系？
• RQ5 实现 L1 回归中 (1+ε)-近似所需的查询次数的根本极限（下界）是什么？

主要发现

• L1 回归的查询复杂度为 Ω((d + log(1/δ))/ε²) 和 O(d log(d/εδ)/ε²)，在对数因子范围内达到紧致性。
• 鲁棒一致收敛通过校正异常值引起的方差，首次实现了对 L1 回归中重要性采样分析的非平凡支持。
• 本文证明，Lewis 权重采样可在 O(d log(d/εδ)/ε²) 次查询内实现对最优 L1 损失的 (1+ε)-近似。
• 通过归约到通信博弈，建立了 Ω(d/ε²) 的下界，表明任何算法都无法在少于 Ω(d/ε²) 次查询内实现 (1+ε)-近似。
• 该框架可扩展至 ℓp 回归（p ∈ (1,2)），首次为这类损失提供了已知的查询复杂度界限。
• 分析表明，估计系数向量的符号模式在高概率下与最优解在至少 99% 的坐标上一致，从而支持通信博弈的归约。