[论文解读] Sparse Sliced Inverse Regression for High Dimensional Data

Qian Lin, Zhigen Zhao+1 more|arXiv (Cornell University)|Nov 21, 2016

Statistical Methods and Inference参考文献 22被引用 4

一句话总结

本文提出Lasso-SIR，一种基于稀疏切片逆回归的方法，通过在从条件协方差矩阵的前导特征向量导出的人工响应变量上应用Lasso回归，来估计充分降维空间。当 $ p = o(n^2 heta^2) $ 时，在稀疏性假设下实现了一致性和最优收敛速率；模拟和真实数据均表明其性能优越。

ABSTRACT

For multiple index models, it has recently been shown that the sliced inverse regression (SIR) is consistent for estimating the sufficient dimension reduction (SDR) space if and only if $ ho=\lim\frac{p}{n}=0$, where $p$ is the dimension and $n$ is the sample size. Thus, when $p$ is of the same or a higher order of $n$, additional assumptions such as sparsity must be imposed in order to ensure consistency for SIR. By constructing artificial response variables made up from top eigenvectors of the estimated conditional covariance matrix, we introduce a simple Lasso regression method to obtain an estimate of the SDR space. The resulting algorithm, Lasso-SIR, is shown to be consistent and achieve the optimal convergence rate under certain sparsity conditions when $p$ is of order $o(n^2\lambda^2)$, where $\lambda$ is the generalized signal-to-noise ratio. We also demonstrate the superior performance of Lasso-SIR compared with existing approaches via extensive numerical studies and several real data examples.

研究动机与目标

• 解决标准切片逆回归（SIR）在 $ p $ 与 $ n $ 相当或更大的高维情形下的一致性问题。
• 在充分降维空间中施加稀疏性，建立SIR在高维情形下保持一致性的条件。
• 在 $ p $ 随 $ n $ 增长时，开发一种计算高效且统计一致的充分降维空间估计方法。
• 在稀疏性和广义信噪比约束下，实现充分降维空间估计量的最优收敛速率。

提出的方法

• 从估计的条件协方差矩阵的前导特征向量构造人工响应变量，以捕捉充分降维空间的结构。
• 对这些人工响应变量应用Lasso回归，以在估计的方向矩阵中引入稀疏性。
• 利用Lasso解来估计充分降维空间，通过稀疏性确保在高维设置下的一致性。
• 在 $ p = o(n^2 heta^2) $ 条件下建立理论一致性与最优收敛速率，其中 $ heta $ 为广义信噪比。
• 设计方法使其继承SIR的可解释性，同时在高维稀疏设置下具备更强鲁棒性。
• 通过依赖标准Lasso求解器并避免复杂优化，确保方法在计算上的可行性。

实验结果

研究问题

• RQ1 当预测变量数量 $ p $ 与样本量 $ n $ 同阶或更大时，切片逆回归在何种条件下保持一致？
• RQ2 在 $ p/n \to 0 $ 不再成立的高维情形下，稀疏性假设是否可恢复SIR的一致性？
• RQ3 在稀疏性和广义信噪比约束下，充分降维空间估计量的最优收敛速率是什么？
• RQ4 在有限样本中，所提出的Lasso-SIR方法与现有基于SIR的方法相比表现如何？
• RQ5 该方法在具有稀疏结构的高维数据中能否有效恢复真实的充分降维空间？

主要发现

• 当 $ p = o(n^2 heta^2) $ 时，Lasso-SIR在广义信噪比 $ heta $ 下实现了充分降维空间估计的一致性。
• 在假设的稀疏性条件下，该方法达到了最优收敛速率，与理论下界一致。
• 大量数值研究显示，Lasso-SIR在估计精度和变量选择方面优于现有基于SIR的方法。
• 真实数据示例证实了该方法在高维设置下的实际应用价值和鲁棒性。
• 通过前导特征向量导出的人工响应变量，实现了有效的降维，同时保持了统计效率。
• Lasso惩罚成功在估计的方向矩阵中引入了稀疏性，从而提升了可解释性和一致性。