[论文解读] Spectrum Estimation from a Few Entries

Ashish Khetan, Sewoong Oh|arXiv (Cornell University)|Mar 18, 2017

Sparse and Compressive Sensing Techniques参考文献 44被引用 4

一句话总结

本文提出了一种新颖且样本高效的算法，通过首先基于计数小子图（如团）的无偏估计器来估计低秩矩阵的 Schatten $k$-范数，然后应用切比雪夫逼近或矩匹配来恢复谱和函数与完整谱，从而从少量观测条目中估计低秩矩阵的谱。关键贡献在于，与完整矩阵补全所需样本相比，Schatten 范数可在显著更少的样本下被准确估计，尤其在子线性区域 $| abla| riangleq d^2p riangleq dr$ 中表现更优。

ABSTRACT

Singular values of a data in a matrix form provide insights on the structure of the data, the effective dimensionality, and the choice of hyper-parameters on higher-level data analysis tools. However, in many practical applications such as collaborative filtering and network analysis, we only get a partial observation. Under such scenarios, we consider the fundamental problem of recovering spectral properties of the underlying matrix from a sampling of its entries. We are particularly interested in directly recovering the spectrum, which is the set of singular values, and also in sample-efficient approaches for recovering a spectral sum function, which is an aggregate sum of the same function applied to each of the singular values. We propose first estimating the Schatten $k$-norms of a matrix, and then applying Chebyshev approximation to the spectral sum function or applying moment matching in Wasserstein distance to recover the singular values. The main technical challenge is in accurately estimating the Schatten norms from a sampling of a matrix. We introduce a novel unbiased estimator based on counting small structures in a graph and provide guarantees that match its empirical performance. Our theoretical analysis shows that Schatten norms can be recovered accurately from strictly smaller number of samples compared to what is needed to recover the underlying low-rank matrix. Numerical experiments suggest that we significantly improve upon a competing approach of using matrix completion methods.

研究动机与目标

• 解决在仅观测到矩阵部分条目时，估计其谱性质（特征值/奇异值）的根本挑战。
• 克服传统矩阵补全方法在子线性采样区域（其中 $| abla| riangleq d^2p riangleq dr$）失效的局限性。
• 构建一个直接估计谱和函数与完整谱的框架，而无需重建整个矩阵。
• 提供理论保证，表明 Schatten $k$-范数可在少于低秩矩阵恢复所需样本数的情况下被准确估计。
• 设计一种基于在采样模式图中计数小子图（如团）的新颖无偏估计器，具有紧致的方差界。

提出的方法

• 通过计数采样模式图中 $k$-闭合行走或小团 ($K_ u$) 的数量，提出估计 Schatten $k$-范数的无偏估计器。
• 利用估计器的输出，通过 Wasserstein 距离中的切比雪夫逼近或矩匹配重构谱和函数。
• 对采样矩阵应用缩放因子 $(d^2/| abla|)$ 以校正缺失条目，但表明在子线性区域中直接使用采样矩阵的 Schatten 范数不足以满足需求。
• 引入两种采样模型：Erdös-Rényi（随机采样）与图采样（结构化采样），并为每种模型提供针对性的理论分析。
• 推导出准确估计 Schatten 范数所需样本数的理论界，表明所需样本量严格小于矩阵补全所需样本量。
• 通过伪图分解与加权行走分析，对估计器的方差进行有界，假设最坏情况下的抵消以确保鲁棒性。

实验结果

研究问题

• RQ1 在子线性采样条目数下（其中 $| abla| riangleq d^2p riangleq dr$），能否准确估计矩阵的谱性质？
• RQ2 是否可能仅使用少量条目，无需完整矩阵恢复，即可准确估计 Schatten $k$-范数？
• RQ3 在子线性采样区域中，所提估计器的性能与标准矩阵补全方法相比如何？
• RQ4 以高概率估计 Schatten 范数所需的最少样本数是多少？其与矩阵秩和维度的缩放关系如何？
• RQ5 能否利用采样模式中的图论结构（如团）来设计一种无偏且高效的 Schatten 范数估计器？

主要发现

• 所提出的 Schatten $k$-范数估计器在显著少于低秩矩阵补全所需样本数下实现了准确估计，尤其在子线性区域中表现更优。
• 数值实验表明，该方法在估计谱和函数与谱方面优于基于矩阵补全的方法，尤其当 $| abla| riangleq d^2p riangleq dr$ 时。
• 基于计数 $K_ u$ 团的估计器实现了 Schatten 范数的无偏估计，其理论方差界通过伪图行走分解推导得出。
• 对于有效秩较小的矩阵（如奇异值按 $1/i^2$ 衰减），所提估计器与简单缩放采样矩阵之间的差距缩小，表明在低秩场景下性能更优。
• 理论分析表明，所需样本数随矩阵维度 $d$ 的子线性增长，且在特定条件下与矩阵秩 $r$ 无关，表明具有极强的样本效率。
• 即使在 $k$ 较小且 $r$ 接近 $d$ 的情况下，该方法仍保持有效性，尽管理论界因最坏情况方差假设而要求 $k$ 或 $r$ 较小；经验结果表明这些界可进一步收紧。