[论文解读] Non-Standard Asymptotics in High Dimensions: Manski's Maximum Score Estimator Revisited

Debarghya Mukherjee, Moulinath Banerjee+1 more|arXiv (Cornell University)|Mar 24, 2019

Statistical Methods and Inference参考文献 21被引用 6

一句话总结

本文重新研究了高维二值选择模型中Manski的最大得分估计量，在软边界条件下（平滑参数 α > 0）建立了非标准渐近速率。推导出首个高维情形下的立方根渐近速率，慢增长情形下速率为 ((p/n)log n)^{α/(α+2)}，快增长情形下速率为 ((s₀ log p log n)/n)^{α/(α+2)}，当 α = 1 时通过 l₀-惩罚估计可达到最优速率。

ABSTRACT

Manski's celebrated maximum score estimator for the binary choice model has been the focus of much investigation in both the econometrics and statistics literatures, but its behavior under growing dimension scenarios still largely remains unknown. This paper seeks to address that gap. Two different cases are considered: $p$ grows with $n$ but at a slow rate, i.e. $p/n ightarrow 0$; and $p \gg n$ (fast growth). By relating Manski's score estimation to empirical risk minimization in a classification problem, we show that under a \emph{soft margin condition} involving a smoothness parameter $\alpha > 0$, the rate of the score estimator in the slow regime is essentially $\left((p/n)\log n ight)^{\frac{\alpha}{\alpha + 2}}$, while, in the fast regime, the $l_0$ penalized score estimator essentially attains the rate $((s_0 \log{p} \log{n})/n)^{\frac{\alpha}{\alpha + 2}}$, where $s_0$ is the sparsity of the true regression parameter. For the most interesting regime, $\alpha = 1$, the rates of Manski's estimator are therefore $\left((p/n)\log n ight)^{1/3}$ and $((s_0 \log{p} \log{n})/n)^{1/3}$ in the slow and fast growth scenarios respectively, which can be viewed as high-dimensional analogues of cube-root asymptotics: indeed, this work is possibly the first study of a non-regular statistical problem in a high-dimensional framework. We also establish upper and lower bounds for the minimax $L_2$ error in the Manski's model that differ by a logarithmic factor, and construct a minimax-optimal estimator in the setting $\alpha=1$. Finally, we provide computational recipes for the maximum score estimator in growing dimensions that show promising results.

研究动机与目标

• 理解当 p 随 n 增长时，Manski最大得分估计量在高维设置下的行为。
• 解决在维度增长情形下（尤其是 p ≫ n 时）该估计量缺乏理论理解的问题。
• 在光滑性条件下，为Manski模型中的 L₂ 误差建立非渐近风险界和极小化最大误差最优速率。
• 为高维设置下的最大得分估计量开发计算上可行的算法。

提出的方法

• 将Manski得分估计与二值分类框架中的经验风险最小化联系起来。
• 引入一个由平滑参数 α > 0 索引的软边界条件，以刻画真实回归函数的边界行为。
• 推导出极小化 L₂ 风险的上下界，表明二者仅相差一个对数因子。
• 提出最大得分估计量的 l₀-惩罚版本，以在 p ≫ n 情形下实现最优速率。
• 在两种尺度范式下分析估计量的收敛速率：p/n → 0（慢增长）与 p ≫ n（快增长）。
• 为 α = 1 的情形显式构造一个极小化最大误差最优估计量，达到最优速率 ((s₀ log p log n)/n)^{1/3}。

实验结果

研究问题

• RQ1 在慢增长情形（p/n → 0）下，当协变量数量 p 随样本量 n 增长时，Manski最大得分估计量的收敛速率是什么？
• RQ2 在高维情形（p ≫ n）下，估计量的行为如何，稀疏性 s₀ 发挥什么作用？
• RQ3 能否在软边界条件且 α = 1 的情况下，为Manski模型构造一个极小化最大误差最优估计量？
• RQ4 该模型中 L₂ 估计误差的极小化下界是什么？它与上界有多接近？
• RQ5 如何在 p 不断增长的高维设置下高效计算最大得分估计量？

主要发现

• 在慢增长情形（p/n → 0）下，最大得分估计量在软边界条件与平滑参数 α > 0 下达到速率 ((p/n)log n)^{α/(α+2)}。
• 在快增长情形（p ≫ n）下，l₀-惩罚最大得分估计量达到速率 ((s₀ log p log n)/n)^{α/(α+2)}，其中 s₀ 为真实参数的稀疏性。
• 当 α = 1 时，速率简化为 ((p/n)log n)^{1/3} 和 ((s₀ log p log n)/n)^{1/3}，代表了立方根渐近速率的高维类比。
• L₂ 风险的极小化下界与上界仅相差一个对数因子，表明所推导速率的紧致性。
• 为 α = 1 的情形显式构造了极小化最大误差最优估计量，达到最优速率 ((s₀ log p log n)/n)^{1/3}。
• 提出了适用于增长维度下的最大得分估计量的计算方法，并展示了其具有前景的实证性能。