[论文解读] Stability Analysis for Regularized Least Squares Regression

Cynthia Rudin|ArXiv.org|Feb 3, 2005

Sparse and Compressive Sensing Techniques参考文献 10被引用 4

一句话总结

本文通过分析正则化参数趋于零时正则化解收敛于真实回归函数的过程，建立了带标签噪声的正则化最小二乘回归的稳定性。利用谱理论和算子范数，证明了在固定N和大N两种情形下的收敛性，表明当真实函数属于再生核希尔伯特空间（RKHS）且正则化参数适当衰减时，该算法对噪声和正则化扰动保持鲁棒性。

ABSTRACT

We discuss stability for a class of learning algorithms with respect to noisy labels. The algorithms we consider are for regression, and they involve the minimization of regularized risk functionals, such as L(f) := 1/N sum_i (f(x_i)-y_i)^2+ lambda ||f||_H^2. We shall call the algorithm `stable' if, when y_i is a noisy version of f*(x_i) for some function f* in H, the output of the algorithm converges to f* as the regularization term and noise simultaneously vanish. We consider two flavors of this problem, one where a data set of N points remains fixed, and the other where N -> infinity. For the case where N -> infinity, we give conditions for convergence to f_E (the function which is the expectation of y(x) for each x), as lambda -> 0. For the fixed N case, we describe the limiting 'non-noisy', 'non-regularized' function f*, and give conditions for convergence. In the process, we develop a set of tools for dealing with functionals such as L(f), which are applicable to many other problems in learning theory.

研究动机与目标

• 形式化并证明带标签噪声的正则化最小二乘回归的稳定性。
• 分析正则化解在正则化参数 $\lambda \to 0$ 时收敛于真实回归函数 $f_{\mathbb{E}}$ 的过程。
• 建立当噪声和正则化同时减小时算法保持稳定的条件。
• 开发利用谱理论和算子范数分析学习泛函的一般工具。
• 展示这些工具在正则化回归之外的其他学习问题中的适用性。

提出的方法

• 采用Tikhonov正则化形式，其正则化风险泛函为 $L(f) = \frac{1}{N}\sum_{i=1}^N (f(\mathbf{x}_i) - y_i)^2 + \lambda \|f\|_{\mathcal{H}}^2$。
• 应用谱定理分析算子 $P^*P$ 及其预解式 $\left(\frac{1}{N}P^*P + \lambda\right)^{-1}$。
• 使用谱测度 $\nu_{\overline{f};P^*P}$ 来有界RKHS中正则化解的范数。
• 利用控制收敛定理证明误差分解中的第一项在 $\lambda_t \to 0$ 时趋于零。
• 通过函数 $\phi(z) = \frac{z}{(\frac{1}{N}z + \lambda_t)^2}$ 的最大值，对算子 $\left(\frac{1}{N}P^*P + \lambda_t\right)^{-1}P^*$ 进行范数有界。
• 要求 $t\sqrt{\lambda_t} \to \infty$，以确保当 $t \to \infty$ 时误差分解中的第二项趋于零。

实验结果

研究问题

• RQ1 在 $\lambda \to 0$ 且 $N \to \infty$ 时，正则化最小二乘解在何种条件下收敛于真实回归函数 $f_{\mathbb{E}}$？
• RQ2 当标签受噪声污染且正则化较小但非零时，该算法的行为如何？
• RQ3 在固定-$N$ 情形下，何种条件可确保正则化解在 $\lambda \to 0$ 时保持接近真实函数 $\overline{f}$？
• RQ4 谱理论能否用于有界RKHS中正则化解与真实函数之间的误差？
• RQ5 可用于证明涉及正则化和噪声数据的学习泛函稳定性的通用技术有哪些？

主要发现

• 当 $N \to \infty$ 时，正则化解 $f_{\text{min}}$ 收敛于真实风险最小化的函数 $f_{\mathbb{E}}$，前提是 $f_{\mathbb{E}} \in \mathcal{H}$。
• 在固定-$N$ 情形下，该算法收敛于一个极限函数 $\overline{f}$，该函数是在适当条件下对应的无正则化、无噪声解。
• 由于控制收敛定理，当 $t \to \infty$ 时误差分解中的第一项趋于零，因为对所有 $z > 0$ 有 $\phi_t(z) \to 0$ 且 $\nu_{\overline{f};P^*P}(\{0\}) = 0$。
• 若 $t\sqrt{\lambda_t} \to \infty$，则第二项趋于零，从而确保正则化解收敛于真实函数。
• 使用了范数界 $\|\left(\frac{1}{N}P^*P + \lambda_t\right)^{-1}P^*\|_{\mathcal{L}(\ell_2, \mathcal{H})} \leq \frac{\sqrt{N}}{2\sqrt{\lambda_t}}$ 来控制误差增长。
• 本文开发了一般性工具——谱分析与引理1.1——可应用于涉及凸泛函和收敛性的其他学习问题。