[论文解读] Structured nonlinear variable selection

Magda Gregorová, Alexandros Kalousis+1 more|arXiv (Cornell University)|May 16, 2018

Sparse and Compressive Sensing Techniques参考文献 19被引用 5

一句话总结

该论文提出了一种基于再生核希尔伯特空间（RKHS）中基于导数的正则化项的新型结构化非线性变量选择框架，通过偏导数引入了组套索和弹性网络的非线性类比。作者开发了一种基于ADMM的算法（NVSD），其近端算子具有闭式解，相较于基线方法在合成数据和真实世界数据上实现了更优的预测精度与变量选择精度，尤其在存在先验分组结构时表现更佳。

ABSTRACT

We investigate structured sparsity methods for variable selection in regression problems where the target depends nonlinearly on the inputs. We focus on general nonlinear functions not limiting a priori the function space to additive models. We propose two new regularizers based on partial derivatives as nonlinear equivalents of group lasso and elastic net. We formulate the problem within the framework of learning in reproducing kernel Hilbert spaces and show how the variational problem can be reformulated into a more practical finite dimensional equivalent. We develop a new algorithm derived from the ADMM principles that relies solely on closed forms of the proximal operators. We explore the empirical properties of our new algorithm for Nonlinear Variable Selection based on Derivatives (NVSD) on a set of experiments and confirm favourable properties of our structured-sparsity models and the algorithm in terms of both prediction and variable selection accuracy.

研究动机与目标

• 解决目标变量非线性依赖于输入变量的结构化变量选择问题。
• 将线性结构化稀疏方法（组套索、弹性网络）扩展至非线性函数，利用偏导数作为稀疏性指标。
• 在RKHS中构建学习问题，并推导出可用于实际优化的有限维等价形式。
• 开发一种基于ADMM的算法（NVSD），其所有近端算子均具有闭式解，避免了先前工作中使用的近似方法。
• 通过实证验证该方法在预测精度与变量选择性能上的优越性，尤其在已知分组结构条件下。

提出的方法

• 基于偏导数的L2范数提出两种新型正则化项：一种用于组稀疏性（GL），另一种用于类弹性网络正则化（EN），灵感源自线性结构化稀疏方法。
• 在RKHS框架内构建非线性变量选择问题，证明了一个广义的表示定理，表明解可表示为核函数及其偏导数的组合。
• 通过核展开与训练集上的导数评估，将无限维变分问题转化为有限维优化问题。
• 开发一种新型基于ADMM的算法（NVSD），其所有近端算子均可计算闭式解，实现精确且高效的更新。
• 结合希尔伯特范数与基于导数的正则化项，以确保强凸性与良好泛化性能，并基于小规模验证固定ν参数。
• 采用两步ADMM更新策略：求解线性系统，通过闭式近端算子执行软阈值化处理，并更新对偶变量。

实验结果

研究问题

• RQ1 偏导数能否有效用于在非线性回归模型中诱导结构化稀疏性？
• RQ2 如何利用导数范数将组套索与弹性网络正则化推广至非线性函数？
• RQ3 能否设计一种具有闭式近端算子、且收敛性可证明的高效算法，用于基于导数的非线性变量选择？
• RQ4 在输入变量中引入先验分组结构是否能提升非线性设置下的预测与选择精度？
• RQ5 与Denovas、HSIC和SpAM等现有方法相比，所提出的NVSD算法在预测性能与稀疏模式恢复方面表现如何？

主要发现

• NVSD(GL)（组套索变体）在所有真实世界数据集（AI、CP、CC、KN、EL）上均显著优于所有基线方法，其RMSE分别为4.16、7.43、8.79、1.96和4.76。
• 在相同数据集上，NVSD(GL)将支持集大小减少至5.00、5.84、8.00、11.84和13.82，表明其变量选择更紧凑且更具相关性。
• NVSD(L)（弹性网络变体）在所有实验中均优于Denovas的预测精度，RMSE更低且稀疏模式更优。
• 除一个数据集（AI）外，该方法在所有数据集上均表现出统计显著的改进，经5%显著性水平的Wilcoxon符号秩检验确认。
• NVSD中使用闭式近端算子可实现精确的稀疏模式恢复（达到算法收敛精度），而无需依赖近似方法。
• 当存在先验分组结构时，该算法表现出鲁棒性与更优性能，证实了在非线性建模中结构化稀疏性的价值。