[论文解读] On the optimality of sliced inverse regression in high dimensions

Qian Lin, Xinran Li+2 more|arXiv (Cornell University)|Jan 21, 2017

Statistical Methods and Inference参考文献 11被引用 10

一句话总结

本文建立了在高维多指标模型中使用切片逆回归（SIR）估计中心子空间的极小极大最优速率，表明聚合SIR估计器可达到 $ d \wedge \left( \frac{sd + s\log(ep/s)}{n\lambda} \right) $ 的速率，该速率在单指标模型及中心维数 $ d $ 和信号强度 $ \lambda $ 固定的多指标模型中均为最优。结果为SIR在稀疏性和低信号强度条件下于高维设置中的有效性提供了理论依据。

ABSTRACT

The central subspace of a pair of random variables $(y,x) \in \mathbb{R}^{p+1}$ is the minimal subspace $\mathcal{S}$ such that $y \perp \hspace{-2mm} \perp x\mid P_{\mathcal{S}}x$. In this paper, we consider the minimax rate of estimating the central space of the multiple index models $y=f(β_{1}^τx,β_{2}^τx,...,β_{d}^τx,ε)$ with at most $s$ active predictors where $x \sim N(0,I_{p})$. We first introduce a large class of models depending on the smallest non-zero eigenvalue $λ$ of $var(\mathbb{E}[x|y])$, over which we show that an aggregated estimator based on the SIR procedure converges at rate $d\wedge((sd+s\log(ep/s))/(nλ))$. We then show that this rate is optimal in two scenarios: the single index models; and the multiple index models with fixed central dimension $d$ and fixed $λ$. By assuming a technical conjecture, we can show that this rate is also optimal for multiple index models with bounded dimension of the central space. We believe that these (conditional) optimal rate results bring us meaningful insights of general SDR problems in high dimensions.

研究动机与目标

• 确定在高维多指标模型中估计中心子空间的极小极大收敛速率。
• 评估在 $ p \gg n $ 的高维设置下，切片逆回归（SIR）程序的收敛速率最优性。
• 建立SIR实现最优收敛速率的条件，尤其在稀疏性和有界信号强度条件下。
• 将SIR的理论理解从固定维数渐近扩展到具有稀疏预测变量的高维情形。
• 探讨SIR与高维线性回归之间的联系，提示SIR可能比与稀疏主成分分析（PCA）更自然地关联。

提出的方法

• 作者定义了一类广义模型 $ \mathfrak{M}_{s,q}(p,d,\lambda,\kappa) $，其特征为稀疏性 $ s $、中心维数 $ d $、$ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ 的最小非零特征值 $ \lambda $，以及有界性参数 $ \kappa $。
• 他们提出一种聚合SIR估计器，通过组合多个SIR估计以提升高维情形下的估计精度。
• 利用浓度不等式和次高斯尾部界推导估计器的收敛速率，特别分析了在条件作用下 $ \sqrt{n} \langle \mathcal{Z}^{(2)} \mathcal{W}^{(2)\top}, \boldsymbol{K}_B \rangle $ 的行为。
• 理论分析依赖于条件独立性和高斯近似技术，表明在事件 $ \mathtt{E} $ 下，估计器的误差服从次高斯分布。
• 论文使用一个技术性猜想将最优性结果扩展至 $ d $ 和 $ \lambda $ 随 $ n $ 增长的情形，暗示更广泛的应用潜力。
• 分析通过证明SIR中估计投影方向的最优速率与线性模型中相关性筛选的速率一致，建立了SIR与线性回归的联系。

实验结果

研究问题

• RQ1 在高维多指标模型中，估计中心子空间的极小极大收敛速率是什么？
• RQ2 在稀疏性和有界信号强度条件下，切片逆回归（SIR）程序在收敛速率上是否最优？
• RQ3 当活跃预测变量数 $ s $ 相对于样本量 $ n $ 较小时，SIR估计器能否实现最优速率？
• RQ4 在SIR中，$ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ 的最小非零特征值 $ \lambda $ 如何影响估计速率和信号强度？
• RQ5 在高维情形下，SIR与线性回归之间是否存在根本性联系，特别是在最优估计速率方面？

主要发现

• 聚合SIR估计器实现了 $ d \wedge \left( \frac{sd + s\log(ep/s)}{n\lambda} \right) $ 的收敛速率，该速率在单指标模型情况下与极小极大下界一致。
• 当中心维数 $ d $ 和信号强度 $ \lambda $ 固定时，该速率对多指标模型亦为最优。
• 在一项技术性猜想下，即使 $ d $ 和 $ \lambda $ 随 $ n $ 增长，该速率仍为最优，从而将结果推广至更广泛的高维情形。
• SIR所估计的 $ \mathrm{Var}(\mathbb{E}[\boldsymbol{x}|y]) $ 的列空间在 $ \boldsymbol{\Sigma} = \mathbf{I} $ 时与中心子空间一致，验证了该方法的有效性。
• 结果表明，由于最优速率一致，SIR在高维情形下更自然地与线性回归关联，而非与稀疏PCA关联。
• 本文确立了在稀疏性和有界信号强度条件下，SIR在高维设置中可实现速率最优，为其实用性提供了理论依据。