[论文解读] Sparse CCA via Precision Adjusted Iterative Thresholding

Mengjie Chen, Chao Gao+2 more|arXiv (Cornell University)|Nov 24, 2013

Gene expression and cancer classification参考文献 43被引用 34

一句话总结

本文提出CAPIT，一种新颖的稀疏典型相关分析（CCA）方法，通过精确调整的迭代阈值法在高维设置下估计典型方向。该文建立了CCA中稀疏性的必要与充分条件，并证明该方法在稀疏性和协方差假设下能达到最优收敛速率，与极小极大下界一致。

ABSTRACT

Sparse Canonical Correlation Analysis (CCA) has received considerable attention in high-dimensional data analysis to study the relationship between two sets of random variables. However, there has been remarkably little theoretical statistical foundation on sparse CCA in high-dimensional settings despite active methodological and applied research activities. In this paper, we introduce an elementary sufficient and necessary characterization such that the solution of CCA is indeed sparse, propose a computationally efficient procedure, called CAPIT, to estimate the canonical directions, and show that the procedure is rate-optimal under various assumptions on nuisance parameters. The procedure is applied to a breast cancer dataset from The Cancer Genome Atlas project. We identify methylation probes that are associated with genes, which have been previously characterized as prognosis signatures of the metastasis of breast cancer.

研究动机与目标

• 尽管稀疏CCA在方法论中被广泛使用，但其在高维设置下的理论基础仍显不足，本文旨在解决此问题。
• 基于协方差结构，提供CCA中典型方向稀疏性的必要与充分条件。
• 开发一种计算高效且统计最优的程序CAPIT，用于估计稀疏典型方向。
• 建立极小极大下界，并证明CAPIT在各种稀疏性和协方差假设下达到最优收敛速率。
• 通过在TCGA乳腺癌数据集上的应用，展示该方法的实际有效性，识别出具有生物学意义的甲基化-基因关联。

提出的方法

• 提出CCA中稀疏性的表征：当且仅当总体典型向量满足涉及精确调整交叉协方差矩阵的特定谱分解时，典型方向为稀疏。
• 使用高维协方差估计技术估计精度矩阵 $\Sigma_1^{-1}$ 和 $\Sigma_2^{-1}$。
• 利用估计的精度矩阵对数据进行变换，以消除干扰协方差结构的影响。
• 对变换后的数据应用迭代软阈值法，以在估计的典型方向中促进稀疏性。
• 采用有限步数的迭代阈值方案，实现最优统计精度，并保证收敛速率。
• 通过推导极小极大下界并证明CAPIT的收敛速率在正则性条件下与下界一致，建立理论最优性。

实验结果

研究问题

• RQ1 在总体协方差结构满足何种条件时，CCA中的典型方向恰好为稀疏？
• RQ2 能否在高维设置下开发一种计算高效且统计最优的稀疏CCA方法？
• RQ3 在稀疏性和协方差假设下，估计稀疏典型方向的极小极大最优收敛速率是多少？
• RQ4 对扰动参数（$\Sigma_1, \Sigma_2$）的估计如何影响典型方向估计器的收敛速率？
• RQ5 所提出的方法能否在真实世界基因组数据中恢复出具有生物学意义的关联，如乳腺癌中的甲基化探针与基因关联？

主要发现

• 本文建立了CCA中稀疏性的必要与充分条件：当且仅当总体交叉协方差矩阵 $\Sigma_{12}$ 满足 $\Sigma_{12} = \Sigma_1 \left(\sum_{i=1}^r \lambda_i \theta_i \eta_i^T \right) \Sigma_2$ 时，典型方向 $\theta_1$ 为稀疏，其中 $\theta_1, \eta_1$ 为稀疏向量。
• 在 $\ell_q$-稀疏性（$0 \leq q \leq 1$）和适当的协方差假设下，CAPIT达到最优收敛速率 $s \left( \frac{\log p}{n} \right)^{1 - q/2}$，与极小极大下界一致。
• 估计误差的极小极大下界为 $C s \left( \frac{\log p}{n} \right)^{1 - q/2}$，证明CAPIT在统计上是最优的。
• 只要扰动参数（$\Sigma_1, \Sigma_2$）的估计不主导典型方向的估计，该方法即为速率最优。
• 在TCGA的乳腺癌数据集中，CAPIT成功识别出与已知转移相关基因相关的甲基化探针，验证了其生物学相关性。
• 理论分析确认CAPIT的收敛速率与极小极大下界一致，确立其为首个在理论上得到保证的稀疏CCA方法。