[论文解读] Scalable kernel-based variable selection with sparsistency

Xin He, Junhui Wang+1 more|arXiv (Cornell University)|Feb 26, 2018

Sparse and Compressive Sensing Techniques被引用 7

一句话总结

该论文提出了一种可扩展的、基于核的变量选择方法，通过核回归和梯度估计，随后进行硬阈值处理，实现了无需显式模型假设的渐近稀疏一致性。该方法适用于任意再生核希尔伯特空间（RKHS），支持一般预测变量效应，并通过并行化实现与维度线性可扩展，对线性和高斯核具有理论保证。

ABSTRACT

Variable selection is central to high-dimensional data analysis, and various algorithms have been developed. Ideally, a variable selection algorithm shall be flexible, scalable, and with theoretical guarantee, yet most existing algorithms cannot attain these properties at the same time. In this article, a three-step variable selection algorithm is developed, involving kernel-based estimation of the regression function and its gradient functions as well as a hard thresholding. Its key advantage is that it assumes no explicit model assumption, admits general predictor effects, allows for scalable computation, and attains desirable asymptotic sparsistency. The proposed algorithm can be adapted to any reproducing kernel Hilbert space (RKHS) with different kernel functions, and can be extended to interaction selection with slight modification. Its computational cost is only linear in the data dimension, and can be further improved through parallel computing. The sparsistency of the proposed algorithm is established for general RKHS under mild conditions, including linear and Gaussian kernels as special cases. Its effectiveness is also supported by a variety of simulated and real examples.

研究动机与目标

• 开发一种在高维设置下具有灵活性、可扩展性且理论基础坚实的变量选择算法。
• 在不假设显式参数模型形式的同时，允许一般预测变量效应。
• 在各种再生核希尔伯特空间（RKHS）中，于温和条件下确保理论上的渐近稀疏一致性。
• 通过与数据维度的线性缩放及支持并行计算，实现高效计算。
• 通过最小修改将方法扩展至交互作用选择。

提出的方法

• 该方法使用再生核希尔伯特空间（RKHS）对回归函数及其梯度函数进行基于核的估计。
• 对估计的梯度函数应用硬阈值处理，以识别相关预测变量。
• 该算法可适配任意RKHS，包括由线性核和高斯核诱导的RKHS。
• 通过与数据维度的线性缩放实现计算效率，进一步通过并行计算提升性能。
• 该方法允许对预测变量效应进行非参数建模，而无需假设可加或参数形式。
• 通过将梯度估计步骤修改为包含成对效应，可将该方法扩展至交互作用选择。

实验结果

研究问题

• RQ1 是否存在一种变量选择方法，可在不假设回归函数特定参数模型的前提下实现稀疏一致性？
• RQ2 如何使基于核的方法在高维设置下实现计算可扩展性？
• RQ3 在一般RKHS中，基于核的变量选择方法的渐近稀疏一致性需满足何种条件？
• RQ4 该方法能否在保持理论保证的同时处理复杂且非可加的预测变量效应？
• RQ5 该方法在多大程度上可扩展以检测预测变量之间的交互作用？

主要发现

• 在温和的正则性条件下，所提算法在一般RKHS中实现了渐近稀疏一致性，包括线性和高斯核情形。
• 该方法在理论保证下确保一致的变量选择，即使真实回归函数为非参数形式亦成立。
• 计算成本随预测变量数量线性增长，从而可高效处理高维数据。
• 该算法支持并行计算，进一步提升了大规模数据集上的运行时性能。
• 模拟和真实数据的实证结果表明，该方法在识别相关变量方面表现优异。
• 通过最小修改，该方法可扩展至交互作用选择，同时保持理论和计算优势。