[论文解读] Semiparametric Efficiency in Convexity Constrained Single Index Model

Arun Kumar Kuchibhotla, Rohit K. Patra+1 more|arXiv (Cornell University)|Aug 1, 2017

Statistical Methods and Inference参考文献 55被引用 4

一句话总结

该论文提出了一种凸性和Lipschitz约束的最小二乘估计器（CLSE），用于单指数模型中未知凸链接函数的情形，使得在弱矩条件下的高效估计成为可能。该研究建立了当误差具有 $ q \geq 5 $ 阶矩时，参数指数的 $ n^{-1/2} $ 阶渐近正态性与半参数效率，并采用一种适用于标准高效得分条件之外情形的几何证明框架。

ABSTRACT

We consider estimation and inference in a single-index regression model with an unknown convex link function. We introduce a convex and Lipschitz constrained least-square estimator (CLSE) for both the parametric and the nonparametric components given independent and identically distributed observations. We prove the consistency and find the rates of convergence of the CLSE when the errors are assumed to have only q≥2 moments and are allowed to depend on the covariates. When q≥5, we establish n−1/2-rate of convergence and asymptotic normality of the estimator of the parametric component. Moreover, the CLSE is proved to be semiparametrically efficient if the errors happen to be homoscedastic. We develop and implement a numerically stable and computationally fast algorithm to compute our proposed estimator in the R package simest. We illustrate our methodology through extensive simulations and data analysis. Finally, our proof of efficiency is geometric and provides a general framework that can be used to prove efficiency of estimators in a wide variety of semiparametric models even when they do not satisfy the efficient score equation directly. Supplementary files for this article are available online.

研究动机与目标

• 在链接函数为凸但未知、且误差矩条件较弱的情况下，开发一种稳健的估计器。
• 在误差具有 $ q \geq 5 $ 阶矩的条件下，建立参数指数分量的渐近正态性与半参数效率。
• 通过 R 包 simest 提供一种数值稳定且计算高效的实现算法。
• 为在高效得分方程无法直接满足的模型中证明半参数效率，提供一种通用的几何框架。

提出的方法

• 提出一种凸性和Lipschitz约束的最小二乘估计器（CLSE），联合估计参数指数向量与非参数凸链接函数。
• 对链接函数施加凸性和Lipschitz约束，以确保形状受限的估计与稳定性。
• 采用交替优化算法高效计算CLSE，并通过预分箱处理避免因指数值重复或过于接近而导致的病态问题。
• 应用新颖的极大不等式处理无界和重尾误差，以应对 $ q \geq 2 $ 阶矩假设。
• 采用几何证明策略建立半参数效率，避免依赖高效得分方程。
• 在 R 包 simest 中开发并实现了数值稳定且计算高效的算法，以支持实际应用。

实验结果

研究问题

• RQ1 在误差仅具有 $ q \geq 5 $ 阶矩的条件下，凸性和Lipschitz约束的最小二乘估计器能否实现参数指数的 $ n^{-1/2} $ 阶收敛与渐近正态性？
• RQ2 当误差为同方差时，即使不满足标准高效得分方程，所提出的CLSE是否仍具有半参数效率？
• RQ3 如何将效率的几何方法推广至高效得分无法直接获得的半参数模型中？
• RQ4 在异方差和重尾误差存在的情况下，CLSE的有限样本表现与计算可行性如何？
• RQ5 在给定正则性条件下，CLSE能否实现极小最大率最优性，特别是当 $ q \geq 5 $ 时？

主要发现

• 当误差具有 $ q \geq 5 $ 阶矩时，CLSE实现了参数指数分量的 $ n^{-1/2} $ 阶收敛与渐近正态性。
• 在同方差误差下，CLSE具有半参数效率，其渐近方差等于高效信息矩阵的 Moore-Penrose 逆。
• 效率的证明基于几何方法且具有一般性，为在不依赖高效得分方程的半参数模型中证明效率提供了新框架。
• 当 $ q \geq 5 $ 时，CLSE达到极小最大率最优性，这一结论通过在附录 S.6 中推导极小最大下界得到验证。
• 所提出的 R 包 simest 中的算法在存在重复或接近的指数值时仍保持数值稳定与计算高效。
• 为处理无界和重尾误差，推导出新颖的极大不等式，这对于在 $ q \geq 2 $ 阶矩条件下证明收敛性至关重要。