[论文解读] Provable Smoothing Approach in High Dimensional Generalized Regression Model

Fang Han, Honglang Wang|arXiv (Cornell University)|Sep 23, 2015

Statistical Methods and Inference参考文献 45被引用 4

一句话总结

本文提出了一种针对高维广义线性模型中基于秩的M-估计器的可证明最优平滑方法，将非光滑、不连续的损失函数转化为光滑近似，从而实现计算上可行且理论可靠的推断。该方法在稀疏性条件下实现了根n一致性与尺度最优性，首次在高维广义回归模型中建立了此类结果。

ABSTRACT

The generalized regression model is an important semiparametric generalization to the linear regression model. It assumes there exist unknown monotone increasing link functions connecting the response $Y$ to a single index $X^T\beta^*$ of explanatory variables $X\in\mathbb{R}^d$. The generalized regression model covers a lot of well-exploited statistical models. It is appealing in many applications where regression models are regularly employed. In low dimensions, rank-based M-estimators are recommended, giving root-$n$ consistent estimators of $\beta^*$. However, their applications to high dimensional data are questionable. This is mainly due to the discontinuity of the loss function $\hat{L}(\cdot)$: (i) computationally, because of $\hat{L}(\cdot)$'s non-smoothness, the optimization problem is intractable; (ii) theoretically, the discontinuity of $\hat{L}(\cdot)$ renders difficulty for analysis in high dimensions. In contrast, this paper suggests a simple, yet powerful, smoothing approach for rank-based estimators. A family of smoothing functions is provided, and the amount of smoothing necessary for efficient inference is carefully calculated. We show the resulting estimators are scaling optimal, i.e., they are consistent estimators of $\beta^*$ as long as $(n,d,s)$ are within an optimal range (here $s$ represents the sparsity degree). These are the first such results in the literature. The proposed approaches' power is further verified empirically.

研究动机与目标

• 解决高维基于秩的M-估计器中非光滑、不连续损失函数带来的计算与理论挑战。
• 开发一种平滑框架，在保持基于秩估计器统计效率的同时，实现在高维设置下的优化。
• 在稀疏性条件下，首次建立高维广义回归模型中根n一致性与尺度最优性的理论保证。
• 验证所提出的平滑方法在实际高维推断场景中的经验有效性。

提出的方法

• 引入一族平滑函数以近似基于秩M-估计器的不连续损失函数，确保可微性与计算可行性。
• 仔细校准平滑程度，以在偏差减少与方差控制之间取得平衡，从而实现最优推断。
• 该方法将原始的非光滑优化问题转化为光滑、凸的代理问题，可适用于标准数值优化技术。
• 理论分析表明，只要样本量 $ n $、维度 $ d $ 与稀疏性 $ s $ 满足一个尺度条件，平滑估计器即可实现根n一致性。
• 所提出的平滑方法被证明是尺度最优的，即在稀疏性约束下，其在最大的 $ (n, d, s) $ 范围内保持一致性。

实验结果

研究问题

• RQ1 能否设计一种平滑方法，使基于秩的M-估计器在高维设置下计算上可行且统计上一致？
• RQ2 在高维广义回归模型中，确保最优统计性能所需的最小平滑量是多少？
• RQ3 在高维情形下，稀疏性条件下，平滑估计器是否能实现根n一致性与尺度最优性？
• RQ4 在估计精度与鲁棒性方面，该方法与现有方法相比表现如何？

主要发现

• 所提出的平滑方法使得在传统方法失效的高维设置下，基于秩M-估计器的计算上可行的优化成为可能。
• 只要 $ (n, d, s) $ 位于最优尺度范围内，所得估计器对 $ \beta^* $ 即实现根n一致性，这是该情境下的首次此类结果。
• 该方法是尺度最优的，意味着在稀疏性约束下，其在最大的 $ (n, d, s) $ 范围内保持一致性，与理论极限相匹配。
• 理论分析确认，平滑过程不会损害统计效率，同时保持了基于秩估计的鲁棒性。
• 实证结果表明，该方法在高维回归场景中展现出强大的实际性能与鲁棒性。