[论文解读] Variational limits of k-NN graph based functionals on data clouds

Nicolás García Trillos|arXiv (Cornell University)|Jul 3, 2016

Advanced Clustering Algorithms Research参考文献 28被引用 3

一句话总结

本文通过证明在尺度条件 $\log n \ll k_n \ll n$ 下，基于 k-NN 图的泛函（如 Cheeger 割）的 Gamma-收敛性，建立了其在大样本下的严格一致性。结果表明，离散图优化问题的解几乎必然收敛到相应连续变分问题的解，为基于 k-NN 的聚类与学习方法提供了理论依据。

ABSTRACT

This paper studies the large sample asymptotics of data analysis procedures based on the optimization of functionals defined on $k$-NN graphs on point clouds. The paper is framed in the context of minimization of balanced cut functionals, but our techniques, ideas and results can be adapted to other functionals of relevance. We rigorously show that provided the number of neighbors in the graph $k:=k_n$ scales with the number of points in the cloud as $n \gg k_n \gg \log(n)$, then with probability one, the solution to the graph cut optimization problem converges towards the solution of an analogue variational problem at the continuum level.

研究动机与目标

• 严格分析基于 k-NN 图的图数据处理方法的大样本渐近性质。
• 建立离散图割优化解向其连续对应物的收敛性。
• 为基于 k-NN 的聚类与正则化方法的统计一致性提供理论基础。
• 弥补相较于更常研究的 ε-图，k-NN 图缺乏理论结果的不足。
• 表明 $k_n$ 所需的尺度条件与维度无关，增强了其在高维数据中的适用性。

提出的方法

• 使用 Gamma-收敛性分析在 k-NN 图上定义的重缩放图总变差泛函的极限。
• 将图总变差（GTV）泛函定义为：对于定义在数据点上的函数 $u$，有 $\sum_{\mathbf{x}_i \sim_k \mathbf{x}_j} |u(\mathbf{x}_i) - u(\mathbf{x}_j)|$。
• 在连续层面，建立 GTV 的 $\Gamma$-极限为加权局部总变差泛函。
• 通过构造具有非均匀带宽的核函数，并将其与底层数据密度关联，分析随机泛函 GTV 的偏差。
• 利用 $C_c^\infty$ 函数与指示函数，通过紧致性与恢复序列论证证明收敛性。
• 在有限周长集的约化边界之紧致子集上使用对角论证，处理 Hausdorff 测度逼近的收敛性。

实验结果

研究问题

• RQ1 在何种条件下，基于 k-NN 图的离散优化问题的解会收敛到连续变分问题？
• RQ2 如何影响 $k_n$ 的缩放对基于图的聚类方法（如谱聚类或 Cheeger 割）的一致性？
• RQ3 k-NN 图上图总变差的 $\Gamma$-极限能否在连续层面表征为加权总变差泛函？
• RQ4 为何在大样本一致性的语境下，k-NN 构造在理论上优于 $\varepsilon$-图？
• RQ5 对 $k_n$ 所需的尺度条件是否依赖于数据维度？

主要发现

• 以概率 1，k-NN 图上离散 Cheeger 割的极小化子在 $n \to \infty$ 时收敛于连续 Cheeger 割泛函的极小化子。
• 重缩放图总变差泛函 $GTV_{n,k_n}$ 的 $\Gamma$-极限为形如 $\frac{\sigma_\eta}{\alpha_d^{1+1/d}} TV(u; \rho^{1-1/d})$ 的加权局部总变差泛函。
• 该收敛性在尺度条件 $\log n \ll k_n \ll n$ 下成立，该条件与维度无关，对数据维度具有鲁棒性。
• 对于指示函数 $u = \mathbf{1}_A$，可从离散指示函数构造恢复序列，确保对基于划分问题的一致性。
• 通过与 $\varepsilon$-图总变差比较，利用局部邻域大小的下界，建立了函数序列的紧致性。
• 证明依赖于对有限周长集约化边界上紧致子集的对角构造，确保 Hausdorff 测度逼近的收敛性。