[论文解读] Penalized Estimation in Additive Regression with High-Dimensional Data

Zhiqiang Tan, Cun‐Hui Zhang|arXiv (Cornell University)|Apr 24, 2017

Statistical Methods and Inference参考文献 7被引用 4

一句话总结

本文提出了一种高维加法回归的惩罚估计框架，利用函数半范数诱导平滑性，利用经验 $L_2$ 范数诱导稀疏性。在次高斯噪声、相容性和熵条件之下，建立了新的 oracle 不等式，根据稀疏性结构提供了从慢速到快速收敛速率的显式收敛率，显著推广了非参数加法建模中的现有结果。

ABSTRACT

Additive regression provides an extension of linear regression by modeling the signal of a response as a sum of functions of covariates of relatively low complexity. We study penalized estimation in high-dimensional nonparametric additive regression where functional semi-norms are used to induce smoothness of component functions and the empirical $L_2$ norm is used to induce sparsity. The functional semi-norms can be of Sobolev or bounded variation types and are allowed to be different amongst individual component functions. We establish new oracle inequalities for the predictive performance of such methods under three simple technical conditions: a sub-gaussian condition on the noise, a compatibility condition on the design and the functional classes under consideration, and an entropy condition on the functional classes. For random designs, the sample compatibility condition can be replaced by its population version under an additional condition to ensure suitable convergence of empirical norms. In homogeneous settings where the complexities of the component functions are of the same order, our results provide a spectrum of explicit convergence rates, from the so-called slow rate without requiring the compatibility condition to the fast rate under the hard sparsity or certain $L_q$ sparsity to allow many small components in the true regression function. These results significantly broadens and sharpens existing ones in the literature.

研究动机与目标

• 开发高维非参数加法回归中惩罚估计的统一框架。
• 解决在复杂函数类下高维设置中平衡平滑性与稀疏性的挑战。
• 在最小且可解释的正则性条件下，为预测性能提供理论保证。
• 通过允许异质的函数半范数和灵活的设计假设，推广现有 oracle 结果。

提出的方法

• 使用结合了经验 $L_2$ 范数（用于稀疏性）和函数半范数（Sobolev、有界变差）（用于平滑性）的惩罚损失函数。
• 将估计器定义为在加法函数空间上的最小化器，其中每个分量使用特定的调参 $\lambda_{nj}$ 和 $\rho_{nj}$。
• 使用函数半范数 $\|g_j\|_{F,j}$ 控制单个分量函数 $g_j$ 的复杂度，允许每个分量使用不同的范数。
• 通过相容性和熵条件推导 oracle 不等式，后者基于 $\mathcal{G}_j$ 上的度量熵界推导得出。
• 通过插值不等式和范数比较推导收敛速率，包括用于 $L_\infty$ 控制的 Gagliardo-Nirenberg 型界。
• 处理固定设计和随机设计，通过在额外收敛假设下用总体版本替代经验相容性。

实验结果

研究问题

• RQ1 在高维、非参数设置下，惩罚加法估计器的理论预测性能保证是什么？
• RQ2 不同的函数半范数（Sobolev、有界变差）如何影响加法模型中的收敛速率？
• RQ3 在高维性和弱稀疏性下，何种条件下可实现快速收敛速率？
• RQ4 在随机设计设置下，能否用总体版本替代相容性条件？
• RQ5 度量熵在确定加法模型收敛速率中起什么作用？

主要发现

• 本文在三个最小条件下（次高斯噪声、相容性、熵条件）建立了预测风险的新 oracle 不等式。
• 在同质设置下，该方法在无相容性条件下实现慢速收敛，在硬稀疏性或具有许多小分量的 $L_q$ 稀疏性下实现快速收敛。
• 收敛速率范围从 $n^{-1/2}$（慢速）到 $n^{-1}$（快速），取决于稀疏性结构。
• 对于 Sobolev 和有界变差类，熵条件满足且具有显式界 $H^*(u, \cdot) \leq B u^{-1/m}$，从而可推导收敛速率。
• 通过 $H^*(u, \cdot) \leq B_5 u^{-1}$ 控制 $\overline{\mathcal{V}}^1$ 中函数的 $L_\infty$ 范数，导致 $\psi_n(z) \asymp z^{1/2}$。
• 插值不等式表明 $\|f\|_\infty$ 可以用 $\|f\|_{L_2}$ 和高阶半范数有界，从而实现一致控制。