[论文解读] Why are Big Data Matrices Approximately Low Rank?

Madeleine Udell, Alex Townsend|arXiv (Cornell University)|May 21, 2017

Sparse and Compressive Sensing Techniques参考文献 34被引用 8

一句话总结

本文通过将大型数据矩阵（如推荐系统和基因组学中的矩阵）建模为有界且平滑的潜在变量函数，解释了为何这些矩阵近似低秩。论文证明，此类矩阵可被低秩矩阵以固定误差近似，且所需秩仅随矩阵规模对数增长，为数据科学中低秩方法的广泛应用提供了理论基础。

ABSTRACT

Matrices of (approximate) low rank are pervasive in data science, appearing in recommender systems, movie preferences, topic models, medical records, and genomics. While there is a vast literature on how to exploit low rank structure in these datasets, there is less attention on explaining why the low rank structure appears in the first place. Here, we explain the effectiveness of low rank models in data science by considering a simple generative model for these matrices: we suppose that each row or column is associated to a (possibly high dimensional) bounded latent variable, and entries of the matrix are generated by applying a piecewise analytic function to these latent variables. These matrices are in general full rank. However, we show that we can approximate every entry of an $m imes n$ matrix drawn from this model to within a fixed absolute error by a low rank matrix whose rank grows as $\mathcal O(\log(m + n))$. Hence any sufficiently large matrix from such a latent variable model can be approximated, up to a small entrywise error, by a low rank matrix.

研究动机与目标

• 解释尽管随机矩阵通常满秩，为何现实世界中的数据矩阵普遍呈现低秩结构。
• 形式化一种基于平滑、有界潜在变量的数据矩阵生成模型，该模型自然产生近似低秩行为。
• 建立此类矩阵由低秩矩阵进行逐元素近似的理论误差界。
• 证明对于给定近似误差，所需秩随矩阵规模增长缓慢（对数增长），从而解释低秩技术的有效性。
• 为低秩近似在缺乏明显低维物理解释（如主题或类型）时仍有效的现象提供理论依据。

提出的方法

• 提出一种潜在变量模型，其中每一行和每一列对应高维空间中一个有界且平滑的潜在变量。
• 将矩阵元素建模为潜在变量的分段解析函数，以确保平滑性和有界性。
• 应用 Johnson–Lindenstrauss 引理，证明高维潜在点可被嵌入低维空间，同时近似保持成对距离。
• 利用此嵌入构造矩阵的低秩近似，并控制最大逐元素误差。
• 推导出 $\epsilon$-秩（使逐元素误差 $\leq \epsilon$ 所需的最小秩）的理论界，其以矩阵规模 $n$ 和误差容限 $\epsilon$ 表示。
• 将分析扩展至对称模型（如图翁）和分段解析函数，表明类似对数增长的秩行为依然成立。

实验结果

研究问题

• RQ1 为何在数据科学中，大型现实世界数据矩阵常表现出低秩结构，尽管随机矩阵通常为满秩？
• RQ2 能否通过理论模型解释从高维潜在变量导出的矩阵中低秩结构的出现？
• RQ3 潜在空间维度与为在给定逐元素误差内近似矩阵所需秩之间的关系为何？
• RQ4 在平滑潜在变量模型下，对于固定逐元素误差，所需秩是否随矩阵规模缓慢增长（如对数增长）？
• RQ5 当数据中不存在可解释的低维结构（如主题或类型）时，低秩近似在多大程度上仍有效？

主要发现

• 由良好潜在变量模型生成的矩阵，可被低秩矩阵以固定绝对误差 $\epsilon$ 近似，且所需秩的增长为 $\mathcal{O}(\log n / \epsilon^2)$。
• 对于给定误差容限 $\epsilon$，$n \times n$ 矩阵的 $\epsilon$-秩在良好潜在变量模型下随 $n$ 对数增长，而非线性增长。
• 即使潜在结构为高维或非线性，只要从潜在变量到矩阵元素的映射函数为分段解析，该结果依然成立。
• Johnson–Lindenstrauss 引理在证明低维嵌入可保持低秩近似所需结构方面起关键作用。
• 理论界表明，当 $n$ 足够大时，固定 $\epsilon$ 所需的秩远小于 $n$，从而解释了低秩方法的实证成功。
• 数值实验验证了理论预测：对于大 $n$，所需秩近似对数增长；而对于小 $n$ 或小 $\epsilon$，其增长可能为线性。