[论文解读] Out-of-sample Extension for Latent Position Graphs

Minh Tang, Youngser Park+1 more|arXiv (Cornell University)|May 21, 2013

Data Management and Algorithms参考文献 36被引用 3

一句话总结

本文提出了一种潜在位置图嵌入的样本外扩展方法，实现了无需重新嵌入整个图即可高效且一致地对新顶点进行分类。证明了在潜在位置模型下，样本外顶点的嵌入会以高概率收敛到其真实的潜在位置，从而在图规模增大时确保普遍一致的推理。

ABSTRACT

We consider the problem of vertex classification for graphs constructed from the latent position model. It was shown previously that the approach of embedding the graphs into some Euclidean space followed by classification in that space can yields a universally consistent vertex classifier. However, a major technical difficulty of the approach arises when classifying unlabeled out-of-sample vertices without including them in the embedding stage. In this paper, we studied the out-of-sample extension for the graph embedding step and its impact on the subsequent inference tasks. We show that, under the latent position graph model and for sufficiently large $n$, the mapping of the out-of-sample vertices is close to its true latent position. We then demonstrate that successful inference for the out-of-sample vertices is possible.

研究动机与目标

• 解决在潜在位置图模型中对新未标记顶点（样本外顶点）进行分类时重新嵌入图所带来的计算低效问题。
• 在顶点分类的背景下，为样本外顶点嵌入的准确性建立理论保证。
• 证明所提出的样本外扩展方法能够保持下游推理任务（如分类）的一致性。
• 提供一种计算高效的替代方案，避免对每个新顶点都进行完整的谱重新计算。

提出的方法

• 基于图的邻接谱嵌入，提出一种基于邻接矩阵 A 的特征分解的样本外扩展映射。
• 通过再生核希尔伯特空间中的经验核和投影算子导出的线性变换，定义样本外顶点的嵌入。
• 利用经验投影子空间与真实投影子空间之间的等距同构，界定估计潜在位置与真实潜在位置之间的距离。
• 应用浓度不等式和谱收敛结果，控制样本外顶点嵌入中的误差。
• 建立样本外嵌入以速率 $ O\left(\delta_d^{-3} \sqrt{\frac{\log(n/\eta)}{n\rho_n}} \right) $ 收敛到真实潜在位置，其中 $ \delta_d $ 为谱间隙，$ \rho_n $ 控制边密度。
• 利用随机矩阵理论和核方法的结果，表明该映射保留了实现一致分类所必需的几何结构。

实验结果

研究问题

• RQ1 是否可以在不重新计算完整谱分解的情况下，将样本外顶点嵌入图的潜在空间？
• RQ2 在潜在位置模型下，样本外嵌入与顶点真实潜在位置的接近程度如何？
• RQ3 所提出的样本外扩展是否保持了顶点分类的普遍一致性？
• RQ4 样本外嵌入收敛到真实潜在位置的速率是多少？
• RQ5 该方法能否高效应用于具有流式或增量式顶点添加的大规模图？

主要发现

• 样本外顶点的嵌入以概率收敛到其真实潜在位置，收敛速率为 $ O\left(\delta_d^{-3} \sqrt{\frac{\log(n/\eta)}{n\rho_n}} \right) $，其中 $ \delta_d $ 为谱间隙，$ \rho_n $ 控制边密度。
• 所提出的样本外扩展确保了即使新顶点未包含在初始嵌入中，其分类结果仍保持普遍一致。
• 证明了从经验空间到真实潜在空间的映射为等距同构，保留了推理所必需的几何结构。
• 误差界通过浓度不等式和谱收敛结果推导得出，置信概率为 $ 1 - \eta $。
• 通过基于现有嵌入的线性映射，避免了完整谱重新计算的 $ O(n^3) $ 成本。
• 在足够大的 $ n $ 下，理论保证在潜在位置模型下成立，确保对新顶点的可靠推理。