[论文解读] Universally Consistent Latent Position Estimation and Vertex Classification for Random Dot Product Graphs

Daniel L. Sussman, Minh Tang+1 more|arXiv (Cornell University)|Jul 29, 2012

Bayesian Methods and Mixture Models参考文献 20被引用 8

一句话总结

本文提出了一种在随机点积图中通过邻接矩阵特征分解对潜在位置进行普遍一致估计的通用方法，并证明基于这些估计的k近邻分类在图规模增大时可达到贝叶斯最优误差率。该方法对未知的底层分布具有鲁棒性，即使潜在位置不可观测，仅基于图结构也能保持一致性。

ABSTRACT

In this work we show that, using the eigen-decomposition of the adjacency matrix, we can consistently estimate latent positions for random dot product graphs provided the latent positions are i.i.d. from some distribution. If class labels are observed for a number of vertices tending to infinity, then we show that the remaining vertices can be classified with error converging to Bayes optimal using the $k$-nearest-neighbors classification rule. We evaluate the proposed methods on simulated data and a graph derived from Wikipedia.

研究动机与目标

• 当仅观测到邻接矩阵时，开发一种对随机点积图中潜在位置进行一致估计的方法。
• 建立基于估计潜在位置的k近邻分类的普遍一致性。
• 证明该方法在潜在向量底层分布未知的情况下依然保持一致性。
• 在模拟数据和维基百科超链接图上对方法进行实证验证。

提出的方法

• 通过邻接矩阵的特征分解估计潜在位置，利用期望邻接矩阵的特征分解可恢复真实潜在向量（至正交变换为止）的性质。
• 将所得的估计潜在向量用作k近邻分类的特征。
• 在模拟图和真实图上应用留一法交叉验证以评估分类误差率。
• 通过证明随着顶点数增加，潜在位置估计误差收敛于零，确保方法的一致性。
• 证明使用估计位置的分类误差收敛至贝叶斯最优误差率，且该结果不依赖于潜在向量的分布。
• 通过蒙特卡洛模拟和真实数据（维基百科超链接图）验证方法在不同维度和邻居数下的性能表现。

实验结果

研究问题

• RQ1 当真实位置从未知分布独立同分布抽取时，能否从邻接矩阵中一致估计随机点积图中的潜在位置？
• RQ2 在估计的潜在位置上使用k近邻分类是否具有普遍一致性，即是否收敛至贝叶斯最优误差？
• RQ3 在模拟和真实场景中，随着图规模增大，该方法的性能如何变化？
• RQ4 在实际应用中，该方法对嵌入维度和邻居数的变化是否具有鲁棒性？

主要发现

• 邻接矩阵的特征分解能一致地估计潜在位置，且每个顶点的均方误差随顶点数增加而减小。
• 使用估计潜在位置的分类误差率经留一法交叉验证在模拟和维基百科图上均收敛至贝叶斯最优误差率。
• 对于包含1382个顶点和5个类别的维基百科图，分类误差率显著低于随机水平（≈0.688），最优性能出现在d ≈ 10且k ≈ 9时。
• 该方法对k和d的变化具有鲁棒性，在不同嵌入维度和邻居数范围内均表现出稳定的误差率。
• 模拟结果表明，使用估计位置的分类误差收敛速度与真实潜在位置的收敛速度相近。
• 结果在所有潜在向量分布下均成立，证实了该方法的普遍一致性。