[论文解读] On the singular values of the reduced-rank multivariate response regression

Vladislav Kargin|arXiv (Cornell University)|Sep 24, 2014

Random Matrices and Applications参考文献 20被引用 1

一句话总结

本文研究了高维多变量回归中系数矩阵与预测响应矩阵的奇异值，其结构具有低秩特性。研究证明，最大奇异值服从缩放后的Tracy-Widom分布，从而可推导出新的秩选择算法与一致估计量，并获得其渐近分布。

ABSTRACT

We consider a multivariate linear response regression in which the number of responses and predictors is large and comparable with the number of observations, and the rank of the matrix of regression coefficients is assumed to be small. We study the distribution of singular values for the matrix of regression coefficients and for the matrix of predicted responses. For both matrices, it is found that the limit distribution of the largest singular value is a rescaling of the Tracy-Widom distribution. Based on this result, we suggest algorithms for the model rank selection and compare them with the algorithm suggested by Bunea, She and Wegkamp. Next, we design two consistent estimators for the singular values of the coefficient matrix, compare them, and derive the asymptotic distribution for one of these estimators..

研究动机与目标

• 理解具有低秩系数矩阵的高维多变量回归中奇异值的渐近分布。
• 为系数矩阵的奇异值开发一致估计量。
• 基于Tracy-Widom极限提出新的模型秩选择算法。
• 将所提方法与现有方法（如Bunea, She, 和 Wegkamp的方法）进行比较。

提出的方法

• 推导出系数矩阵最大奇异值的极限分布为缩放后的Tracy-Widom分布。
• 将相同的极限分布应用于预测响应矩阵的最大奇异值。
• 基于最大奇异值的Tracy-Widom分位数提出秩选择算法。
• 设计两个系数矩阵奇异值的一致估计量。
• 推导其中一个所提估计量的渐近分布。
• 利用随机矩阵理论在高维渐近条件下验证其渐近行为。

实验结果

研究问题

• RQ1 在降秩多变量回归中，系数矩阵最大奇异值的极限分布是什么？
• RQ2 如何利用Tracy-Widom极限实现一致的模型秩选择？
• RQ3 系数矩阵奇异值的一致估计量具有哪些性质？
• RQ4 所提估计量在有限样本中与现有方法相比表现如何？
• RQ5 所提系数奇异值一致估计量的渐近分布是什么？

主要发现

• 系数矩阵最大奇异值的极限分布为缩放后的Tracy-Widom分布。
• 相同的Tracy-Widom极限也适用于预测响应矩阵的最大奇异值。
• 基于Tracy-Widom分位数的所提秩选择算法在性能上优于或等同于Bunea, She, 和 Wegkamp的方法。
• 提出两种系数矩阵奇异值的一致估计量，其中一种具有推导出的渐近分布。
• 所选估计量的渐近分布已推导并证明在高维渐近条件下成立。
• 理论结果通过模拟比较得到支持，证实了所提方法的一致性与准确性。