[论文解读] Subspace Estimation from Unbalanced and Incomplete Data Matrices: $\ell_{2,\infty}$ Statistical Guarantees

Changxiao Cai, Gen Li+3 more|arXiv (Cornell University)|Oct 9, 2019

Sparse and Compressive Sensing Techniques参考文献 134被引用 6

一句话总结

本文提出一种带有对角线删除的谱方法，用于从列维度 $d_2$ 远大于行维度 $d_1$ 的高度不平衡、不完整且含噪的数据矩阵中估计低秩矩阵的列空间。该方法建立了新颖的 $ ild{O}(all_{2,fi})$ 统计保证，优于以往在高度不平衡情形下的结果，且匹配极小极大下界，并在张量补全、协方差估计和社区检测中具有应用价值。

ABSTRACT

This paper is concerned with estimating the column space of an unknown low-rank matrix $\boldsymbol{A}^{\star}\in\mathbb{R}^{d_{1} imes d_{2}}$, given noisy and partial observations of its entries. There is no shortage of scenarios where the observations -- while being too noisy to support faithful recovery of the entire matrix -- still convey sufficient information to enable reliable estimation of the column space of interest. This is particularly evident and crucial for the highly unbalanced case where the column dimension $d_{2}$ far exceeds the row dimension $d_{1}$, which is the focal point of the current paper. We investigate an efficient spectral method, which operates upon the sample Gram matrix with diagonal deletion. While this algorithmic idea has been studied before, we establish new statistical guarantees for this method in terms of both $\ell_{2}$ and $\ell_{2,\infty}$ estimation accuracy, which improve upon prior results if $d_{2}$ is substantially larger than $d_{1}$. To illustrate the effectiveness of our findings, we derive matching minimax lower bounds with respect to the noise levels, and develop consequences of our general theory for three applications of practical importance: (1) tensor completion from noisy data, (2) covariance estimation / principal component analysis with missing data, and (3) community recovery in bipartite graphs. Our theory leads to improved performance guarantees for all three cases.

研究动机与目标

• 解决在观测高度不完整且含噪，特别是在列维度远大于行维度（$d_2 \gg d_1$）的不平衡情形下，估计低秩矩阵列空间的挑战。
• 开发一种统计上可靠且计算高效的谱方法，基于带对角线删除的样本格拉姆矩阵进行运算。
• 在 $\ell_2$ 和 $\ell_{2,\infty}$ 范数下建立紧致的统计误差界，优于在不平衡设置下现有结果。
• 推导极小极大下界，以验证所提方法性能保证的最优性。
• 通过张量补全、含缺失数据的协方差估计以及二分图中的社区恢复等应用，展示理论的实际相关性。

提出的方法

• 该方法在观测数据的样本格拉姆矩阵上应用谱算法，并通过移除对角线元素以减少含噪自观测带来的偏差。
• 利用留一法分析控制样本格拉姆矩阵与其期望之间的偏差，尤其在高维和不平衡设置下。
• 理论分析依赖于矩阵伯恩斯坦不等式以及具有有界元素和次高斯尾部的独立随机矩阵和的集中不等式。
• 关键组成部分包括使用 $\ell_{2,\infty}$ 范数衡量估计误差，该范数对单个列的偏差更敏感，优于 $\ell_2$ 范数。
• 通过截断和对称化技术控制随机矩阵扰动中的尾部行为。
• 理论保证通过一系列引理推导得出，这些引理界定了误差矩阵的非对角线和对角线分量，利用矩和范数控制。

实验结果

研究问题

• RQ1 在高度不平衡且不完整的数据条件下，带有对角线删除的谱方法能否实现低秩矩阵子空间估计的最优 $\ell_{2,\infty}$ 估计误差？
• RQ2 在高维情形下，该方法的性能如何随不平衡比 $d_2/d_1$ 变化？
• RQ3 所提出的统计保证是否足够紧致，是否与该估计问题的极小极大下界匹配？
• RQ4 该理论能否应用于真实世界问题，如张量补全、含缺失数据的协方差估计以及二分图中的社区检测？
• RQ5 在不平衡数据存在的情况下，$\ell_{2,\infty}$ 范数在捕捉单个列估计精度方面起到何种作用？

主要发现

• 所提出的带对角线删除的谱方法在 $d_2 \gg d_1$ 时，其 $\ell_{2,\infty}$ 估计误差界随 $d_2$ 的增长表现更优，优于以往在不平衡情形下的结果。
• $\ell_{2,\infty}$ 误差界为 $\tilde{O}\left(\sigma \sqrt{\frac{d_1}{n}} + B \sqrt{\frac{\log d_2}{n}} \right)$，其中 $\sigma$ 为噪声水平，$B$ 为元素有界性。
• 本文建立了匹配的极小极大下界，证实所推导的误差率在对数因子范围内为统计最优。
• 在张量补全中，该方法相比现有方法提供了更优的误差保证，尤其当张量展开为高度不平衡矩阵时。
• 在含缺失数据的协方差估计中，该方法在相同不平衡设置下实现了主子空间估计的最优 $\ell_{2,\infty}$ 误差。
• 该理论可应用于二分图随机块模型中的社区恢复，当社区数量相对于某一划分中节点数较大时，可获得更优的性能保证。