[论文解读] Singular vector and singular subspace distribution for the matrix denoising model

Zhigang Bao, Xiucai Ding+1 more|arXiv (Cornell University)|Sep 27, 2018

Random Matrices and Applications参考文献 68被引用 16

一句话总结

本文在矩阵去噪模型 $Y = S + X$ 中建立了奇异向量和子空间的极限分布，其中 $S$ 为低秩信号矩阵，$X$ 为具有独立同分布条目的随机噪声矩阵。在对 $S$ 和 $X$ 的一般假设下，推导了样本奇异向量与真实奇异向量之间夹角的非普遍极限分布，以及子空间距离的极限分布，表明其依赖于信号结构和噪声分布。

ABSTRACT

In this paper, we study the matrix denosing model $Y=S+X$, where $S$ is a low-rank deterministic signal matrix and $X$ is a random noise matrix, and both are $M imes n$. In the scenario that $M$ and $n$ are comparably large and the signals are supercritical, we study the fluctuation of the outlier singular vectors of $Y$. More specifically, we derive the limiting distribution of angles between the principal singular vectors of $Y$ and their deterministic counterparts, the singular vectors of $S$. Further, we also derive the distribution of the distance between the subspace spanned by the principal singular vectors of $Y$ and that spanned by the singular vectors of $S$. It turns out that the limiting distributions depend on the structure of the singular vectors of $S$ and the distribution of $X$, and thus they are non-universal.

研究动机与目标

• 分析当 $M$ 与 $n$ 相当时，矩阵去噪模型 $Y = S + X$ 中异常奇异向量的波动，且信号为超临界情形。
• 刻画噪声矩阵 $Y$ 的主奇异向量与信号矩阵 $S$ 的确定性奇异向量之间夹角的极限分布。
• 推导 $Y$ 的主奇异向量张成的子空间与 $S$ 的主奇异向量张成的子空间之间距离的极限分布。
• 建立这些极限分布为非普遍分布，其依赖于 $S$ 的结构和 $X$ 的分布。
• 为高维信号处理与随机矩阵理论中的奇异向量与子空间提供统计推断工具。

提出的方法

• 使用矩阵去噪模型 $Y = S + X$，其中 $S$ 为低秩确定性信号矩阵，$X$ 具有零均值、方差为 $1/n$ 的独立同分布条目。
• 对 $S = UDV^*$ 和 $Y = \widehat{U}\Lambda\widehat{V}^*$ 分别应用奇异值分解（SVD），以定义真实与样本奇异向量。
• 通过 $\cos\Theta(\widehat{U}_r, U)$ 和 $\cos\Theta(\widehat{V}_r, V)$ 分析子空间之间的余弦主夹角，并以余弦矩阵的弗罗贝尼乌斯范数作为距离度量。
• 采用高维随机矩阵理论框架，包括核函数展开与各向同性局部律，以控制奇异向量的波动。
• 使用累积矩展开方法与多重线性展开技术，估计 $Y$ 的线性谱统计量的矩。
• 通过详细分析核函数项及其导数，证明极限分布的非普遍性，表明其依赖于信号奇异向量结构与噪声分布。

实验结果

研究问题

• RQ1 噪声矩阵 $Y$ 的主奇异向量与信号矩阵 $S$ 的真实奇异向量之间的夹角的极限分布是什么？
• RQ2 由样本奇异向量与真实奇异向量张成的子空间之间的距离在渐近下如何表现？
• RQ3 奇异向量与子空间的极限分布是否在不同噪声分布与信号结构下具有普遍性？
• RQ4 信号矩阵奇异向量结构在决定样本奇异向量极限分布中起什么作用？
• RQ5 奇异向量与子空间的波动如何依赖于 $M$、$n$ 与信号强度的联合行为？

主要发现

• $Y$ 的主奇异向量与 $S$ 的真实奇异向量之间夹角的极限分布是非普遍的，且依赖于 $S$ 的奇异向量的特定结构。
• 以 $L = \|\cos\Theta(\widehat{U}_r, U)\|_F^2$ 衡量的子空间距离的极限分布是非普遍的，且依赖于噪声分布与信号结构。
• 奇异向量波动的极限分布对信号奇异向量对齐方式以及噪声条目的四阶矩敏感。
• 分析表明，奇异向量估计的误差并非渐近分布自由，且随信号的几何构型而变化。
• 所推导的极限分布是在所有矩有界的 i.i.d. 噪声假设下建立的，即使噪声非高斯，结果依然成立。
• 极限分布的非普遍性意味着奇异向量与子空间的推断必须考虑特定的信号与噪声特性。