[论文解读] Sparse Nonlinear Regression: Parameter Estimation and Asymptotic Inference

Zhuoran Yang, Zhaoran Wang+3 more|arXiv (Cornell University)|Nov 14, 2015

Statistical Methods and Inference参考文献 66被引用 31

一句话总结

该论文提出了一种针对具有非凸优化特性的稀疏非线性回归的ℓ1-正则化最小二乘估计器，其非线性连接函数f导致目标函数非凸。尽管存在非凸性，论文证明了任意驻点均可实现最优的统计收敛速率，并提出了具有收敛保证的基于梯度的算法。主要贡献在于实现了有效的渐近推断，包括高维β∗中低维分量的置信区间和假设检验。

ABSTRACT

We study parameter estimation and asymptotic inference for sparse nonlinear regression. More specifically, we assume the data are given by $y = f( x^ op β^* ) + ε$, where $f$ is nonlinear. To recover $β^*$, we propose an $\ell_1$-regularized least-squares estimator. Unlike classical linear regression, the corresponding optimization problem is nonconvex because of the nonlinearity of $f$. In spite of the nonconvexity, we prove that under mild conditions, every stationary point of the objective enjoys an optimal statistical rate of convergence. In addition, we provide an efficient algorithm that provably converges to a stationary point. We also access the uncertainty of the obtained estimator. Specifically, based on any stationary point of the objective, we construct valid hypothesis tests and confidence intervals for the low dimensional components of the high-dimensional parameter $β^*$. Detailed numerical results are provided to back up our theory.

研究动机与目标

• 解决高维稀疏非线性回归中的参数估计问题，其中y = f(x⊤β∗) + ϵ，β∗未知，f已知为非线性连接函数。
• 克服由于f的非线性导致ℓ1-正则化最小二乘优化问题的非凸性，从而无法保证全局最优。
• 证明非凸目标函数的任意驻点均可实现最优的统计收敛速率。
• 设计一种高效的基于梯度的算法，可严格收敛至驻点。
• 为高维参数β∗的低维分量提供有效的渐近推断，包括置信区间和假设检验。

提出的方法

• 提出非凸优化问题：最小化(1/n)∑(yi − f(xi⊤β))² + λ∥β∥₁以估计β∗。
• 采用结合梯度下降与软阈值化的基于梯度的迭代算法，将ISTA推广至非线性场景。
• 在较弱的正则性条件下，证明算法可收敛至驻点。
• 利用受限特征值条件与Hessian稳定性条件控制估计误差并确保一致性。
• 基于驻点的渐近分布，为个体分量β∗j构造置信区间与假设检验。
• 应用H"older不等式与三角不等式，控制高维设定下的估计误差与梯度偏差项。

实验结果

研究问题

• RQ1 当非线性连接函数f导致目标函数非凸时，能否在稀疏非线性回归中实现最优的统计收敛速率？
• RQ2 能否设计一种高效算法，可严格收敛至非凸ℓ1-正则化最小二乘问题的驻点？
• RQ3 在非线性模型中，是否可能对高维稀疏参数β∗的低维分量进行有效的渐近推断（如置信区间与假设检验）？
• RQ4 统计收敛速率如何依赖于稀疏度s∗、样本量n与维度d？
• RQ5 为确保高维非线性模型中的一致性估计与推断，设计矩阵与连接函数f需满足何种条件？

主要发现

• 非凸ℓ1-正则化最小二乘目标函数的任意驻点均能达到最优统计收敛速率：以高概率有‖β̂ − β∗‖₂ ≤ C₁ · √(s∗log d / n)，其中C₁为与n、d或s∗无关的绝对常数。
• ℓ1误差界同样最优：‖β̂ − β∗‖₁ ≤ C₂ · s∗√(log d / n)，其中C₁、C₂为与n、d或s∗无关的绝对常数。
• 所需样本量需满足n = O(s∗log d)才能使估计误差趋于零，与线性稀疏恢复所需的最小样本量一致。
• 提出一种高效的基于梯度的算法，并证明其可收敛至驻点，成功将ISTA推广至非线性设定。
• 为个体分量β∗j构造了有效的置信区间与假设检验，理论保证基于Hessian稳定性与收敛条件。
• 估计量的渐近分布允许在高维设定下对低维分量进行推断，且在f与设计矩阵满足较弱正则性条件时成立。