[论文解读] Reduced-rank Regression in Sparse Multivariate Varying-Coefficient Models with High-dimensional Covariates

Heng Lian, Shujie Ma|arXiv (Cornell University)|Sep 24, 2013

Statistical Methods and Inference参考文献 22被引用 8

一句话总结

本文提出了一种用于高维多变量变系数模型的降秩回归方法，结合多项式样条逼近、凹组惩罚和秩约束，实现变量选择与秩降低的同步进行。该方法具备渐近Oracle性质，并能高效估计具有非线性交互作用的高维遗传数据。

ABSTRACT

In genetic studies, not only can the number of predictors obtained from microarray measurements be extremely large, there can also be multiple response variables. Motivated by such a situation, we consider semiparametric dimension reduction methods in sparse multivariate regression models. Previous studies on joint variable and rank selection have focused on parametric models while here we consider the more challenging varying-coefficient models which make the investigation on nonlinear interactions of variables possible. Spline approximation, rank constraints and concave group penalties are utilized for model estimation. Asymptotic oracle properties of the estimators are presented. We also propose reduced-rank independent screening to deal with the situation when the dimension is so high that penalized estimation cannot be efficiently applied. In simulations, we show the advantages of simultaneously performing variable and rank selection. A real data set is analyzed to illustrate the good prediction performance when incorporating interactions between genetic variables and an index variable.

研究动机与目标

• 解决遗传研究中高维多变量回归的挑战，其中预测变量（如SNP）和响应变量（如表型）的数量均较大。
• 通过引入变系数结构，克服参数模型的局限性，以建模遗传变量与指数变量（如体力活动水平）之间的非线性交互作用。
• 同时执行变量选择与秩降低，以提高高维设定下的模型简洁性与预测准确性。
• 提出一种降秩独立筛选方法，以处理超高维协变量，其中惩罚估计变得计算不可行。

提出的方法

• 使用多项式样条逼近来建模变系数模型中的非参数系数函数。
• 应用凹组惩罚（如SCAD或MCP）将整个样条系数块收缩至零，以实现联合变量选择。
• 通过显式矩阵分解对系数矩阵施加降秩约束，以捕捉多个响应之间的依赖关系。
• 将估计问题表述为带有秩约束和稀疏性约束的惩罚最小二乘优化问题。
• 提出一种基于边际相关性的降秩独立筛选方法，以在完整估计前对高维协变量进行预筛选。
• 在正则条件下建立估计量的渐近Oracle性质，包括变量选择和估计的一致性。

实验结果

研究问题

• RQ1 降秩回归能否在具有高维协变量的多变量变系数模型中与稀疏变量选择有效结合？
• RQ2 所提出的方法是否在估计系数函数和系数矩阵秩方面实现Oracle性质？
• RQ3 在惩罚估计变得计算上不可行的高维设定下，该方法表现如何？
• RQ4 所提出的降秩独立筛选方法能否有效降低维度，同时保留重要预测变量？
• RQ5 在变系数模型中，所提出估计量的理论性能保证（如收敛速率、选择一致性）是什么？

主要发现

• 所提出的方法实现了渐近Oracle性质，意味着其能一致地选择真实模型，并以与已知真实模型时相同的效率估计系数。
• 估计量的收敛速率为 $ O_p\big(\sqrt{(q+K)r/n} \cdot \log n\big) $，其中 $ q $ 为响应变量数量，$ K $ 为样条节点数，$ r $ 为真实秩。
• 该方法成功识别出与指数变量（如体力活动水平）存在交互作用的重要SNP，在遗传数据中提升了预测性能。
• 降秩独立筛选能有效降低超高维协变量的维度，从而支持后续的惩罚估计。
• 模拟结果表明，同时进行变量与秩选择的性能优于单独选择或参数模型。
• 理论分析证实，模型选择错误的概率呈指数衰减，其界为 $ \exp\{-C_2(q+K)r\} + K^2\exp\{-C_4n/K^3\} $。