[论文解读] Optimistic lower bounds for convex regularized least-squares

Pierre Bellec|arXiv (Cornell University)|Mar 3, 2017

Sparse and Compressive Sensing Techniques参考文献 23被引用 6

一句话总结

本文提出了凸正则化最小二乘估计器的“乐观下界”，提供了适用于任意目标向量（而不仅最坏情况）的预测误差界。通过使用变分函数 F、G 和 H 对预测误差进行表征，该框架得出了紧致且依赖于数据的上下界，其在 Lasso 中的应用展示了对通用调参的匹配界，以及对小调参参数的新下界。

ABSTRACT

Minimax lower bounds are pessimistic in nature: for any given estimator, minimax lower bounds yield the existence of a worst-case target vector $β^*_{worst}$ for which the prediction error of the given estimator is bounded from below. However, minimax lower bounds shed no light on the prediction error of the given estimator for target vectors different than $β^*_{worst}$. A characterization of the prediction error of any convex regularized least-squares is given. This characterization provide both a lower bound and an upper bound on the prediction error. This produces lower bounds that are applicable for any target vector and not only for a single, worst-case $β^*_{worst}$. Finally, these lower and upper bounds on the prediction error are applied to the Lasso is sparse linear regression. We obtain a lower bound involving the compatibility constant for any tuning parameter, matching upper and lower bounds for the universal choice of the tuning parameter, and a lower bound for the Lasso with small tuning parameter.

研究动机与目标

• 为克服仅刻画最坏情况性能的极小化极大下界之局限性，开发适用于任意目标向量的误差界。
• 为凸正则化最小二乘估计器的预测误差提供统一的变分表征框架。
• 推导出对所有目标向量均有效的预测误差的紧致下界与上界，而不仅限于最坏情况。
• 将该框架应用于稀疏线性回归中的 Lasso，揭示其在不同调参区间下的性能新见解。
• 在高斯噪声下建立预测误差的集中性质，从而实现概率性保证。

提出的方法

• 引入基于函数 $ F(t) = \sup_{\|\mathbf{X}(\beta - \beta^*)\| \leq t} \left( \varepsilon^T \mathbf{X}(\beta - \beta^*) - h(\beta) \right) - t^2/2 $ 的预测误差变分表征，将估计器误差与一个最大化问题联系起来。
• 证明真实预测误差 $ \|\mathbf{X}(\hat{\beta} - \beta^*)\| $ 几乎必然为 $ F(t) $ 的最大化点，从而可应用优化工具。
• 定义辅助函数 $ G $ 和 $ H $，利用强凸性和-Lipschitz 性质，推导预测误差的上界与下界。
• 利用高斯噪声的 Lipschitz 函数的集中不等式，推导预测误差的概率界，尤其在标准正态噪声下。
• 通过分析相容性常数，将该框架应用于 Lasso，推导出与通用调参选择下已知上界匹配的界。
• 采用基于中位数的论证与并集界，证明预测误差接近其中位数的事件具有正概率，从而实现非渐近性保证。

实验结果

研究问题

• RQ1 我们能否为凸正则化最小二乘估计器的预测误差推导出适用于任意目标向量（而不仅最坏情况）的下界？
• RQ2 如何利用依赖于噪声和设计矩阵的变分函数，表征凸正则化估计器的预测误差？
• RQ3 这些乐观下界对稀疏线性回归中 Lasso 的性能有何影响，特别是在小调参与通用调参参数下？
• RQ4 在噪声为标准正态分布时，能否利用所提框架建立预测误差的集中性质？
• RQ5 与现有极小化极大下界相比，所提出的乐观下界在紧致性和适用性方面表现如何？

主要发现

• 预测误差 $ \|\mathbf{X}(\hat{\beta} - \beta^*)\| $ 几乎必然为随机函数 $ F(t) $ 的最大化点，从而实现了对误差的变分表征。
• 对于任意目标向量 $ \beta^* $，该框架均能提供预测误差的下界与上界，优于仅考虑最坏情况 $ \beta^*_{\text{worst}} $ 的极小化极大界。
• 对于使用通用调参的 Lasso，乐观下界与已知上界完全匹配，表明该界具有紧致性。
• 本文推导出 Lasso 在小调参参数下的新下界，该下界非平凡且适用于最坏情况之外的场景。
• 在高斯噪声下，预测误差集中在其中位数附近，该框架可导出形式为 $ |\sqrt{m} - \sqrt{t_f}| \leq \sqrt{21\sigma/2} $ 的高概率界，且该事件具有正概率。
• 该框架优于先前结果，例如 Chatterjee (2014) 的命题 1.3，将相关不等式中常数因子从 1 降低至 1/2。