[论文解读] Nonparametric sparsity and regularization

Lorenzo Rosasco, Silvia Villa+3 more|arXiv (Cornell University)|Aug 13, 2012

Sparse and Compressive Sensing Techniques参考文献 63被引用 59

一句话总结

本文提出了一种新颖的非参数稀疏性框架，用于在非线性监督学习中进行变量选择，通过在再生核希尔伯特空间（RKHS）中测量部分导数来衡量变量重要性。该方法提出了一种基于邻近法的自适应正则化方案，以解决由此产生的不可微凸优化问题，实现了相关变量的一致选择，并在经验性能上优于当前最先进的方法。

ABSTRACT

In this work we are interested in the problems of supervised learning and variable selection when the input-output dependence is described by a nonlinear function depending on a few variables. Our goal is to consider a sparse nonparametric model, hence avoiding linear or additive models. The key idea is to measure the importance of each variable in the model by making use of partial derivatives. Based on this intuition we propose a new notion of nonparametric sparsity and a corresponding least squares regularization scheme. Using concepts and results from the theory of reproducing kernel Hilbert spaces and proximal methods, we show that the proposed learning algorithm corresponds to a minimization problem which can be provably solved by an iterative procedure. The consistency properties of the obtained estimator are studied both in terms of prediction and selection performance. An extensive empirical analysis shows that the proposed method performs favorably with respect to the state-of-the-art methods.

研究动机与目标

• 解决高维非线性回归中的变量选择问题，其中真实函数仅依赖于少数几个相关变量。
• 开发一种基于部分导数而非线性或可加性假设的非参数稀疏度度量。
• 基于RKHS理论与邻近优化方法，设计一种稳定且计算可行的正则化方案。
• 在预测与变量选择两方面，建立估计量的理论一致性。
• 通过合成数据集与真实世界数据集，对所提方法与当前最先进的方法进行经验验证。

提出的方法

• 提出一种基于RKHS中函数部分导数L2范数的新型非参数稀疏性概念。
• 通过在训练点处对部分导数进行经验估计，定义一种数据依赖的正则化项。
• 利用RKHS框架，通过表示定理与基于核的函数表示，确保导数估计器的有界性与稳定性。
• 开发一种迭代前向-后向分裂算法，以求解由正则化最小二乘目标引出的非光滑凸优化问题。
• 应用邻近方法处理正则化项的不可微性，从而获得收敛性保证。
• 利用集中不等式与RKHS范数控制，推导出导数范数估计误差的有限样本界。

实验结果

研究问题

• RQ1 在非线性、非可加模型中，RKHS中的部分导数能否提供一种可靠且稳定的变量重要性度量？
• RQ2 基于部分导数范数的正则化方案能否在高维非线性回归中一致识别出真实的相关变量集合？
• RQ3 与现有的L1正则化或基于可加模型的方法相比，所提方法在预测精度与变量选择性能方面表现如何？
• RQ4 估计量在预测误差与支持恢复方面具有怎样的理论一致性特性？
• RQ5 迭代邻近算法能否在保证收敛速率的前提下可靠地收敛到解？

主要发现

• 所提估计量实现了变量选择的一致性：随着样本量增加，所有相关变量被正确恢复的概率趋近于1。
• 该方法在经验性能上表现强劲，在多个数据集上的预测精度与稀疏性恢复能力均优于当前最先进的方法。
• 理论分析表明，估计的导数范数以概率收敛至真实导数范数，收敛速率取决于样本量与正则化参数。
• 在较弱假设下，算法可实现收敛，收敛速率通过邻近方法理论与RKHS集中界得以建立。
• 在正则化参数τn满足limₙ→∞ τₙ = 0且limₙ→∞ a(n, τₙ) = 0的条件下，证明了选择过程的一致性。
• 理论边界表明，该方法对高维输入具有鲁棒性，其边界随维度d与样本量n呈有利的尺度关系。