[论文解读] Normal Approximation and Confidence Region of Singular Subspaces

Dong Xia|arXiv (Cornell University)|Jan 2, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用 5

一句话总结

本文在独立同分布噪声下，针对经验奇异子空间与真实奇异子空间之间的投影距离，建立了非渐近正态近似，利用经验谱投影算子的显式公式及高阶偏差校正。在最优信噪比条件下，证明了渐近正态性，并给出了收敛速率，允许秩随 $ o((d_1+d_2)^{1/3}) $ 增长，无需特征值间隙条件，且对 $ d_1 $ 和 $ d_2 $ 无约束。关键贡献在于实现了严格、有限样本的正态近似，并给出了显式的偏差校正阶数。

ABSTRACT

This paper is on the normal approximation of singular subspaces when the noise matrix has i.i.d. entries. Our contributions are three-fold. First, we derive an explicit representation formula of the empirical spectral projectors. The formula is neat and holds for deterministic matrix perturbations. Second, we calculate the expected projection distance between the empirical singular subspaces and true singular subspaces. Our method allows obtaining arbitrary $k$-th order approximation of the expected projection distance. Third, we prove the non-asymptotical normal approximation of the projection distance with different levels of bias corrections. By the $\lceil \log(d_1+d_2) ceil$-th order bias corrections, the asymptotical normality holds under optimal signal-to-noise ration (SNR) condition where $d_1$ and $d_2$ denote the matrix sizes. In addition, it shows that higher order approximations are unnecessary when $|d_1-d_2|=O((d_1+d_2)^{1/2})$. Finally, we provide comprehensive simulation results to merit our theoretic discoveries. Unlike the existing results, our approach is non-asymptotical and the convergence rates are established. Our method allows the rank $r$ to diverge as fast as $o((d_1+d_2)^{1/3})$. Moreover, our method requires no eigen-gap condition (except the SNR) and no constraints between $d_1$ and $d_2$.

研究动机与目标

• 在噪声矩阵具有独立同分布条目时，为经验奇异子空间与真实奇异子空间之间的投影距离建立非渐近正态近似。
• 为适用于确定性扰动的经验证据谱投影算子推导显式表示公式。
• 通过一种避免特征值间隙假设的新方法，计算期望投影距离的任意阶近似。
• 在最优信噪比条件下，通过 $ \rceil \log(d_1 + d_2) \lceil $ 阶偏差校正，建立投影距离的渐近正态性。
• 证明当 $ |d_1 - d_2| = O((d_1 + d_2)^{1/2}) $ 时，高阶近似在偏差校正中是不必要的，并通过全面模拟验证结果。

提出的方法

• 利用矩阵扰动理论，为经验谱投影算子推导显式表示公式，适用于确定性矩阵扰动。
• 使用生成函数与组合恒等式，计算投影距离的高阶矩，从而实现对期望距离的任意 $ k $ 阶近似。
• 应用 $ \lceil \log(d_1 + d_2) \rceil $ 阶偏差校正，实现在最优信噪比条件下的投影距离渐近正态性。
• 采用矩生成函数与埃米特多项式展开，分析有限样本中投影距离的分布。
• 在不依赖特征值间隙条件的前提下，建立正态近似的收敛速率，仅依赖信噪比。
• 利用随机矩阵理论与谱扰动技术，分析在独立同分布噪声矩阵下奇异子空间的行为。

实验结果

研究问题

• RQ1 在独立同分布噪声下，能否为经验奇异子空间与真实奇异子空间之间的投影距离建立非渐近正态近似？
• RQ2 为实现投影距离的渐近正态性，所需的最优偏差校正阶数是多少？
• RQ3 正态近似的收敛速率如何依赖于矩阵维数 $ d_1 $ 和 $ d_2 $ 以及秩 $ r $？
• RQ4 在何种条件下，投影距离的偏差校正中可避免使用高阶近似？
• RQ5 信噪比在决定正态近似的有效性与准确性方面起什么作用？

主要发现

• 本文证明，在使用 $ \lceil \log(d_1 + d_2) \rceil $ 阶偏差校正时，投影距离的渐近正态性在最优信噪比条件下成立。
• 期望投影距离可实现任意 $ k $ 阶近似，显式公式通过生成函数与组合恒等式推导得出。
• 正态近似的收敛速率在有限样本中得到确立，使结果具有非渐近性且具实际应用价值。
• 该方法允许秩 $ r $ 以 $ o((d_1 + d_2)^{1/3}) $ 的速度增长，在给定噪声模型下为最优。
• 无需特征值间隙条件——仅需信噪比条件，相比先前工作显著放宽了假设。
• 模拟结果验证了理论发现，表明高阶偏差校正可提升精度，且当 $ |d_1 - d_2| = O((d_1 + d_2)^{1/2}) $ 时，高阶近似在偏差校正中可省略。