[论文解读] The Variational Garrote

Hilbert J. Kappen, Vicenç Gómez|arXiv (Cornell University)|Sep 2, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用 5

一句话总结

本文提出变分剪枝法（Variational Garrote, VG），一种新颖的变分贝叶斯稀疏回归方法，结合 $L_0$ 正则化与变分近似，即使在 $p < n$ 时也能获得良好定义的解。该方法通过变分岭项实现动态正则化，在预测精度和稀疏性恢复方面优于套索回归（Lasso）与岭回归，并通过对偶公式实现高效计算，在密集和相关性高的问题上显著优于配对平均场（PMF）方法的速度与性能。

ABSTRACT

In this paper, we present a new variational method for sparse regression using $L_0$ regularization. The variational parameters appear in the approximate model in a way that is similar to Breiman's Garrote model. We refer to this method as the variational Garrote (VG). We show that the combination of the variational approximation and $L_0$ regularization has the effect of making the problem effectively of maximal rank even when the number of samples is small compared to the number of variables. The VG is compared numerically with the Lasso method, ridge regression and the recently introduced paired mean field method (PMF) (M. Titsias &amp; M. Lázaro-Gredilla., NIPS 2012). Numerical results show that the VG and PMF yield more accurate predictions and more accurately reconstruct the true model than the other methods. It is shown that the VG finds correct solutions when the Lasso solution is inconsistent due to large input correlations. Globally, VG is significantly faster than PMF and tends to perform better as the problems become denser and in problems with strongly correlated inputs. The naive implementation of the VG scales cubic with the number of features. By introducing Lagrange multipliers we obtain a dual formulation of the problem that scales cubic in the number of samples, but close to linear in the number of features.

研究动机与目标

• 解决普通最小二乘法与岭回归在高维低样本情形（$p < n$）下的局限性，此时解不稳定或非稀疏。
• 开发一种稀疏回归方法，通过变分近似强制执行 $L_0$ 正则化，实现高预测精度与模型可解释性。
• 通过引入变分贝叶斯框架与高效优化方法，克服精确 $L_0$ 正则化的计算复杂性与非凸性挑战。
• 通过实证比较，评估所提方法与套索回归、岭回归及配对平均场（PMF）方法在预测精度、稀疏性与可扩展性方面的表现。

提出的方法

• 该方法使用变分近似积分掉二值选择变量 $s_i$（决定每个特征是否被包含在模型中），从而获得权重 $\vec{w}$ 的MAP估计。
• 通过近似引入变分岭项，确保设计矩阵的有效秩最大化，即使在 $p < n$ 时也能稳定解。
• 核心优化过程涉及最小化一个变分自由能目标函数，该函数结合了数据的似然与通过 $L_0$ 正则化诱导稀疏性的权重先验。
• 利用拉格朗日乘子推导出对偶公式，将计算复杂度从特征数的立方降低为样本数的立方，从而实现高维问题的高效计算。
• 算法采用变分参数与权重的并行更新，并使用启发式退火调度调整稀疏性先验 $\gamma$，以避免陷入局部极小值。
• 该方法在 MATLAB 中实现，并与套索回归（使用优化的 Fortran 代码）及 PMF（使用作者提供的代码）进行比较。

实验结果

研究问题

• RQ1 在 $p < n$ 的高维回归中，$L_0$ 正则化的变分近似能否产生稳定且良好定义的解？
• RQ2 变分剪枝法在预测精度与稀疏性恢复方面相较于套索回归、岭回归与 PMF 的表现如何？
• RQ3 由近似引入的变分岭项是否能有效稳定解并提升低样本情形下的泛化能力？
• RQ4 在输入密集或高度相关的情况下，该方法在特征数 $n$ 增加时的可扩展性如何？
• RQ5 对偶公式能否显著降低计算成本，同时保持精度，特别是在 $n$ 较大时？

主要发现

• 变分剪枝法（VG）在预测精度与稀疏性恢复方面显著优于套索回归、岭回归与 PMF，尤其在输入强相关的问题中表现更优。
• VG 在速度与精度上均优于 PMF，计算时间随 $n$ 近似线性增长，远快于 PMF，后者在 $n$ 增大时性能急剧下降。
• 在正交设计情形下，当稀疏性先验 $\gamma$ 不过强或输入-输出相关性 $\rho$ 不过大时，VG 解具有唯一性，该结论通过推导的相图得到验证。
• 随着 $n$ 增大，VG 解的 $L_0$ 范数仍能保持接近真实稀疏度（如 $L_0 = 5$），而套索回归的 $L_0$ 范数随 $n$ 增大而恶化。
• VG 方法在零噪声极限下表现稳健，与压缩感知理论预期一致，即 $L_0$ 正则化为最优，且在密集问题中表现良好，此类问题常面临局部极小值挑战。
• VG 的对偶公式将计算复杂度从 $O(n^3)$ 降低至 $O(p^3)$，实现 $n$ 的高效扩展，同时保持对偶更新步骤在 $n$ 上的线性复杂度。