[论文解读] Sample-Optimal Low-Rank Approximation of Distance Matrices

Piotr Indyk, Ali Vakilian+2 more|arXiv (Cornell University)|Jun 2, 2019

Sparse and Compressive Sensing Techniques参考文献 13被引用 11

一句话总结

本文提出了一种针对距离矩阵低秩逼近的样本最优算法，仅读取 $O((n+m)k/\/epsilon)$ 个条目，运行时间为 $ ilde{O}(n+m) olinebreak\.\mathrm{poly}(k,1/ olinebreak\epsilon)$。该算法在弗罗贝尼乌斯范数下实现了对最佳秩-$k$ 逼近的 $ olinebreak\epsilon$-加法逼近，且样本复杂度与理论下界匹配，因此相比以往工作更为简洁高效。

ABSTRACT

A distance matrix $A \in \mathbb R^{n imes m}$ represents all pairwise distances, $A_{ij}=\mathrm{d}(x_i,y_j)$, between two point sets $x_1,...,x_n$ and $y_1,...,y_m$ in an arbitrary metric space $(\mathcal Z, \mathrm{d})$. Such matrices arise in various computational contexts such as learning image manifolds, handwriting recognition, and multi-dimensional unfolding. In this work we study algorithms for low-rank approximation of distance matrices. Recent work by Bakshi and Woodruff (NeurIPS 2018) showed it is possible to compute a rank-$k$ approximation of a distance matrix in time $O((n+m)^{1+γ}) \cdot \mathrm{poly}(k,1/ε)$, where $ε>0$ is an error parameter and $γ>0$ is an arbitrarily small constant. Notably, their bound is sublinear in the matrix size, which is unachievable for general matrices. We present an algorithm that is both simpler and more efficient. It reads only $O((n+m) k/ε)$ entries of the input matrix, and has a running time of $O(n+m) \cdot \mathrm{poly}(k,1/ε)$. We complement the sample complexity of our algorithm with a matching lower bound on the number of entries that must be read by any algorithm. We provide experimental results to validate the approximation quality and running time of our algorithm.

研究动机与目标

• 设计一种更快更简单的距离矩阵低秩逼近算法，这类矩阵在机器学习和数据分析中非常常见。
• 在矩阵维度 $n$ 和 $m$ 上实现次线性样本复杂度，这对一般矩阵而言是不可能的。
• 匹配必须读取条目数量的理论下界，从而确立样本最优性。
• 同时提供理论保证和对逼近质量与运行时间的实验验证。

提出的方法

• 该算法采用随机采样策略，从距离矩阵中选取 $O((n+m)k/\epsilon)$ 个条目，利用度量空间的结构特性。
• 应用 Frieze-Kannan-Vempala 框架的变体，实现 $\tilde{O}(n+m)\cdot\mathrm{poly}(k,1/\epsilon)$ 的运行时间。
• 该方法确保 Frobenius 范数误差满足 $\|A - VU\|_F^2 \leq \|A - A_k\|_F^2 + \epsilon\|A\|_F^2$，且概率较高。
• 通过正交矩阵投影和奇异值分解技术，在采样条件下保持逼近质量。
• 该算法是自适应且随机的，对逼近误差和样本复杂度均有理论保证。
• 理论分析依赖于对奇异值的有界性估计，并利用迹不等式关联矩阵子空间。

实验结果

研究问题

• RQ1 是否可以实现对距离矩阵的低秩逼近，使得样本复杂度在 $n+m$ 上为次线性，且在 $k$ 和 $\epsilon$ 上达到最优？
• RQ2 能否设计出比以往工作更简单、更高效的距离矩阵低秩逼近算法？
• RQ3 实现 $\epsilon$-近似低秩解所需读取条目的信息论下界是多少？
• RQ4 能否通过匹配的下界证明该算法的样本复杂度是紧致的？
• RQ5 该算法是否在显著降低运行时间的同时，仍能保持高逼近质量，相比基于 SVD 的方法？

主要发现

• 所提算法仅读取输入距离矩阵的 $O((n+m)k/\epsilon)$ 个条目，实现了样本最优性。
• 运行时间为 $\tilde{O}(n+m)\cdot\mathrm{poly}(k,1/\epsilon)$，相比以往工作有显著提升。
• 该算法以 0.99 的概率实现对最佳秩-$k$ 逼近在 Frobenius 范数下的 $\epsilon$-加法逼近。
• 证明了任何随机化算法的匹配下界为 $\Omega((n+m)k/\epsilon)$ 个条目，从而确立了样本最优性。
• 实验结果证实了该算法在逼近质量上的优越性以及相比现有方法更快的运行速度。
• 理论分析包括对奇异值的紧致界估计以及对矩阵子空间对齐的分析，确保了在采样下的鲁棒逼近。