[论文解读] Sample canonical correlation coefficients of high-dimensional random vectors with finite rank correlations

Zongming Ma, Fan Yang|arXiv (Cornell University)|Feb 5, 2021

Random Matrices and Applications参考文献 52被引用 8

一句话总结

该论文在高维随机向量具有有限秩相关性的条件下，建立了样本典型相关系数（CCCs）的BBP相变。在严格满足四阶矩条件的前提下，证明了低于阈值的总体CCC会导致样本CCC收敛至谱的本征值整体边缘，并呈现Tracy-Widom波动；而高于阈值的总体CCC则产生与整体谱分离的异常值，即使在近退化或临界情形下亦成立。

ABSTRACT

Consider two random vectors $\widetilde{\mathbf x} \in \mathbb R^p$ and $\widetilde{\mathbf y} \in \mathbb R^q$ of the forms $\widetilde{\mathbf x}=A\mathbf z+\mathbf C_1^{1/2}\mathbf x$ and $\widetilde{\mathbf y}=B\mathbf z+\mathbf C_2^{1/2}\mathbf y$, where $\mathbf x\in \mathbb R^p$, $\mathbf y\in \mathbb R^q$ and $\mathbf z\in \mathbb R^r$ are independent vectors with i.i.d. entries of mean 0 and variance 1, $\mathbf C_1$ and $\mathbf C_2$ are $p imes p$ and $q imes q$ deterministic covariance matrices, and $A$ and $B$ are $p imes r$ and $q imes r$ deterministic matrices. With $n$ independent observations of $(\widetilde{\mathbf x},\widetilde{\mathbf y})$, we study the sample canonical correlations between $\widetilde{\mathbf x} $ and $\widetilde{\mathbf y}$. We consider the high-dimensional setting with finite rank correlations. Let $t_1\ge t_2 \ge \cdots\ge t_r$ be the squares of the nontrivial population canonical correlation coefficients, and let $\widetildeλ_1 \ge\widetildeλ_2\ge\cdots\ge\widetildeλ_{p\wedge q}$ be the squares of the sample canonical correlation coefficients. If the entries of $\mathbf x$, $\mathbf y$ and $\mathbf z$ are i.i.d. Gaussian, then the following dichotomy has been shown in [7] for a fixed threshold $t_c \in(0, 1)$: for $1\le i \le r$, if $t_i < t_c$, then $\widetildeλ_i$ converges to the right-edge $λ_+$ of the limiting eigenvalue spectrum of the sample canonical correlation matrix; if $t_i>t_c$, then $\widetildeλ_i$ converges to a deterministic limit $θ_i \in (λ_+,1)$ determined by $t_i$. In this paper, we prove that these results hold universally under the sharp fourth moment conditions on the entries of $\mathbf x$ and $\mathbf y$. Moreover, we prove the results in full generality, in the sense that they also hold for near-degenerate $t_i$'s and for $t_i$'s that are close to the threshold $t_c$.

研究动机与目标

• 理解当p、q和n成比例增长时，高维设置下样本典型相关系数（CCCs）的极限行为。
• 解决当p和q与n相当时，经典CCA理论因“维度灾难”而失效的问题。
• 在存在有限秩相关性的情况下，建立样本CCC的相变现象——即著名的BBP相变。
• 将BBP相变推广至近退化的总体CCC及接近临界阈值的情形。
• 在最小矩假设下，对样本典型相关系数矩阵的特征值行为进行严格的非渐近分析。

提出的方法

• 将两个高维随机向量建模为独立同分布分量与低秩因子载荷的线性组合。
• 利用总体协方差矩阵与交叉协方差矩阵推导总体典型相关系数（PCC）矩阵。
• 分析由n个独立同分布观测值构成的样本典型相关系数（SCC）矩阵，其缩放因子为n^{-1/2}。
• 应用局部极限定理与谱分析，研究SCC矩阵的特征值分布。
• 通过在Y与Y + tBZ之间构造插值矩阵路径，追踪特征值的连续性，避免穿越临界阈值。
• 采用确定性正则化与扰动分析方法，控制样本协方差矩阵的预解式，并建立格林函数的统一有界性。

实验结果

研究问题

• RQ1 当总体典型相关系数接近临界阈值时，在高维设置下样本典型相关系数是否表现出相变现象？
• RQ2 当总体CCC低于阈值时，样本CCC会发生什么？它们是否收敛至本征值整体的边缘并服从Tracy-Widom波动？
• RQ3 是否可在近退化或任意接近阈值的总体CCC下建立BBP相变？
• RQ4 严格的四阶矩条件如何影响高维CCA中样本CCC的收敛性与波动行为？
• RQ5 在最小矩假设下，样本CCC收敛至整体谱边缘时，Tracy-Widom分布是否仍然成立？

主要发现

• 当总体典型相关系数低于临界阈值时，对应的样本典型相关系数收敛至样本典型相关系数矩阵本征值整体的右端边缘。
• 对于低于阈值的总体CCC，样本CCC在极限下满足Tracy-Widom分布，表明其具有普遍波动行为。
• 当总体CCC超过阈值时，对应的样本CCC收敛至一个与本征值整体谱分离的异常值。
• 即使在近退化总体CCC或任意接近阈值的情况下，BBP相变依然成立，表明该相变具有强鲁棒性。
• 研究结果在底层随机向量独立同分布分量的四阶矩条件严格成立的前提下建立，确保了最小矩假设。
• 通过连续插值路径与格林函数的高概率界，严格控制了预解式与特征值的连续性。