[论文解读] Randomized Near Neighbor Graphs, Giant Components, and Applications in Data Science

George C. Linderman, Gal Mishne+2 more|PubMed|Nov 13, 2017

Random Matrices and Applications参考文献 25被引用 4

一句话总结

本文提出通过从每个点的k个最近邻中随机选择一个小型子集来对k-最近邻图进行稀疏化，将边数从O(n log n)显著减少至O(n log log n)。该方法以高概率保持巨大连通分量的连通性，从而在不损失几何保真度的前提下加速数据科学应用中的计算。

ABSTRACT

If we pick <i>n</i> random points uniformly in [0, 1] ^<i>d</i> and connect each point to its <i>c</i> _<i>d</i> log <i>n</i>-nearest neighbors, where <i>d</i> ≥ 2 is the dimension and <i>c</i> _<i>d</i> is a constant depending on the dimension, then it is well known that the graph is connected with high probability. We prove that it suffices to connect every point to <i>c</i> _<i>d</i>,1 log log <i>n</i> points chosen randomly among its <i>c</i> _<i>d</i>,2 log <i>n</i>-nearest neighbors to ensure a giant component of size <i>n</i> - <i>o</i>(<i>n</i>) with high probability. This construction yields a much sparser random graph with ~ <i>n</i> log log <i>n</i> instead of ~ <i>n</i> log <i>n</i> edges that has comparable connectivity properties. This result has nontrivial implications for problems in data science where an affinity matrix is constructed: instead of connecting each point to its <i>k</i> nearest neighbors, one can often pick <i>k</i>' ≪ <i>k</i> random points out of the <i>k</i> nearest neighbors and only connect to those without sacrificing quality of results. This approach can simplify and accelerate computation; we illustrate this with experimental results in spectral clustering of large-scale datasets.

研究动机与目标

• 解决高维数据科学应用中密集k-最近邻图计算效率低下的问题。
• 探究在k-NN集合内对邻居进行随机子采样是否能在大幅减少边数的同时保持全局连通性。
• 建立理论条件，以确保随机近邻图以高概率保持巨大连通分量。
• 为标准k-NN图提供一种实用的替代方案，以加速亲和矩阵构建和谱聚类中的计算。
• 量化在[0,1]^d上的随机几何图中稀疏性与连通性之间的权衡。

提出的方法

• 在[0,1]^d上的独立同分布样本中，对每个点从其c_d,2 log n个最近邻中均匀随机选择c_d,1 log log n个邻居，构建随机图。
• 使用泊松过程近似来建模点过程，以确保在高概率下与均匀采样渐近等价。
• 应用并集界和连通分量断开的概率界，以控制连通分量断开的概率。
• 利用Erdős–Rényi型论证来界定断开概率，表明其随n多项式衰减。
• 通过分析连通分量大小之和中连续项的比值，控制断开概率的尾部。
• 利用e的近似和指数增长速率的近似，推导断开概率的渐近界。

实验结果

研究问题

• RQ1 能否通过仅选择k-最近邻图中邻居的一个随机子集来实现稀疏化，同时保持一个巨大连通分量？
• RQ2 每个点最少需要连接多少个随机邻居，才能以高概率确保大小为n - o(n)的巨大连通分量？
• RQ3 此类随机图的边数与标准k-NN图相比，在稀疏性和连通性方面有何差异？
• RQ4 当用k-NN集合中的随机选择替代确定性的k-NN连接时，连通性的理论保证是什么？
• RQ5 该稀疏化技术在多大程度上可以加速数据科学工作流，而不会在亲和矩阵中降低几何保真度？

主要发现

• 仅需将每个点连接到其c_d,2 log n个最近邻中的c_d,1 log log n个随机选择的邻居，即可以高概率确保大小为n - o(n)的巨大连通分量。
• 所得图的边数为O(n log log n)，相比标准k-NN图的O(n log n)边数有显著减少。
• 当每个节点连接k个随机邻居时，断开概率衰减为O(1/n^{(k-1)(k+1)})，表明具有高度的连通性鲁棒性。
• 对于固定的k，[0,1]^d上k-NN图的连通分量的期望数量渐近为c_d,k · n，其中c_d,k随d和k迅速衰减。
• k-NN图中连通分量的期望直径为O(n^{-1/d})，表明在最近邻尺度上存在局部聚类。
• 数值示例表明，从k-NN集合中使用k' ≪ k个随机邻居可保持性能，同时显著加速数据科学任务中的计算。