[论文解读] On Stein's Identity and Near-Optimal Estimation in High-dimensional Index Models

Zhuoran Yang, Krishnakumar Balasubramanian+1 more|arXiv (Cornell University)|Sep 26, 2017

Random Matrices and Applications参考文献 41被引用 10

一句话总结

本文提出了一种基于一阶和二阶 Stein's 一致性（Stein’s identities）的新型高维单索引与多索引模型估计方法，无需假设协变量服从高斯分布或椭球对称分布，即可实现近似最优估计。该方法采用数据驱动的截断策略以应对重尾和偏态响应，适用于多种设定，实现了最优或近似最优的收敛速率。

ABSTRACT

We consider estimating the parametric components of semi-parametric multiple index models in a high-dimensional and non-Gaussian setting. Such models form a rich class of non-linear models with applications to signal processing, machine learning and statistics. Our estimators leverage the score function based first and second-order Stein's identities and do not require the covariates to satisfy Gaussian or elliptical symmetry assumptions common in the literature. Moreover, to handle score functions and responses that are heavy-tailed, our estimators are constructed via carefully thresholding their empirical counterparts. We show that our estimator achieves near-optimal statistical rate of convergence in several settings. We supplement our theoretical results via simulation experiments that confirm the theory.

研究动机与目标

• 开发一种高维半参数索引模型估计框架，不依赖于高斯或椭球对称协变量。
• 解决在一般未知连接函数及非高斯、重尾响应下估计参数分量的挑战。
• 在协变量和误差分布假设最少的前提下，实现近似最优的统计收敛速率。
• 通过基于得分的估计器，将现有相位恢复和降维方法扩展至非高斯和重尾设定。
• 提供一种鲁棒且计算可行的方法，在各种连接函数和分布下保持统计最优性。

提出的方法

• 利用一阶和二阶 Stein's 一致性构造估计方程，其对未知连接函数具有不变性。
• 对经验得分函数实施数据驱动的截断程序，以增强对重尾和偏态分布的鲁棒性。
• 通过半定规划（SDP）进行凸优化，用于稀疏相位恢复和低秩索引模型，结合正则化以控制估计误差。
• 应用交替方向乘子法（ADMM）高效求解所得优化问题。
• 基于得分函数的经验矩构造估计器，并通过阈值化稳定重尾情况下的估计。
• 引入余弦距离度量以评估估计精度，衡量估计参数向量与真实参数向量之间的对齐程度。

实验结果

研究问题

• RQ1 在不假设协变量为高斯或椭球对称分布的前提下，能否在高维索引模型中实现近似最优估计？
• RQ2 如何利用 Stein's 一致性构造对重尾和偏态响应及协变量分布具有鲁棒性的估计器？
• RQ3 在一般连接函数和非高斯设计下，基于得分的估计器的统计收敛速率如何？
• RQ4 在非高斯测量向量下，所提方法能否在稀疏相位恢复和低秩索引模型中实现最优性能？
• RQ5 在高维设定下，截断策略如何影响鲁棒性与估计精度之间的权衡？

主要发现

• 所提估计器在稀疏和低秩索引模型中均实现了近似最优的统计收敛速率，即使在非高斯和重尾分布下亦成立。
• 模拟结果证实，估计误差与理论速率 $ s^* \tilde{\text{log}} d / n $ 呈线性关系，验证了理论界。
• 对于 $ d = 500 $、$ s^* = 5 $ 的稀疏相位恢复，且协变量为非高斯分布（伽马分布和瑞利分布）时，$ \beta^* $ 与 $ \tilde{\beta} $ 之间的余弦距离保持在 $ s^* \tilde{\text{log}} d / n $ 的常数倍以内，表明方法具有鲁棒性。
• 在非高斯设定下，该方法优于现有凸与非凸相位恢复估计器，而以往方法因分布假设限制而失效。
• 理论分析表明，基于截断的估计器即使在 $ X $ 的四阶矩为重尾时，仍保持一致性和最优收敛速率。
• 该框架可扩展至两层神经网络，表明在最小分布假设下，其在深度学习模型中亦具有实现最优估计的潜力。