[论文解读] Semi-Supervised Learning on Graphs through Reach and Distance Diffusion

Edith Cohen|arXiv (Cornell University)|Mar 30, 2016

Complex Network Analysis Techniques参考文献 68被引用 3

一句话总结

本文提出了用于图上半监督学习的Reach Diffusion与Distance Diffusion核函数，利用网络中心性与影响模型捕捉强边之外的有向、微弱关联。该方法采用可扩展的草图算法，在实验中表现优于标签传播方法，其中随机化距离扩散方案在小规模种子集上表现更优。

ABSTRACT

Semi-supervised learning (SSL) is an indispensable tool when there are few labeled entities and many unlabeled entities for which we want to predict labels. With graph-based methods, entities correspond to nodes in a graph and edges represent strong relations. At the heart of SSL algorithms is the specification of a dense {\em kernel} of pairwise affinity values from the graph structure. A learning algorithm is then trained on the kernel together with labeled entities. The most popular kernels are {\em spectral} and include the highly scalable "symmetric" Laplacian methods, that compute a soft labels using Jacobi iterations, and "asymmetric" methods including Personalized Page Rank (PPR) which use short random walks and apply with directed relations, such as like, follow, or hyperlinks. We introduce {\em Reach diffusion} and {\em Distance diffusion} kernels that build on powerful social and economic models of centrality and influence in networks and capture the directed pairwise relations that underline social influence. Inspired by the success of social influence as an alternative to spectral centrality such as Page Rank, we explore SSL with our kernels and develop highly scalable algorithms for parameter setting, label learning, and sampling. We perform preliminary experiments that demonstrate the properties and potential of our kernels.

研究动机与目标

• 解决在仅有少量标注节点、大量未标注节点的图上进行半监督学习的挑战。
• 开发能够捕捉强边之外的微弱、有向关联的核函数，反映社会与经济影响。
• 设计高度可扩展的算法，用于参数调优、标签学习与采样，采用草图技术。
• 评估基于扩散的核函数与标准谱方法（如标签传播）的性能对比。
• 探索这些核函数作为现代基于嵌入学习流程中谱核函数的替代方案的潜力。

提出的方法

• 提出受网络中心性与影响模型启发的Reach Diffusion与Distance Diffusion核函数，通过不同长度的路径建模影响传播。
• 使用随机寿命或固定长度路径模拟扩散过程，采用如 $\alpha(x) = 1/x^{1.5}$ 或 $\alpha(x) = 1/\log_2(1+x)$ 的衰减函数。
• 应用草图技术以加速核函数条目计算，实现在大规模图上的高效估计。
• 采用核密度估计公式 $\boldsymbol{f}_i = \frac{\sum_{j \leq n_\ell} \kappa_{ij} \boldsymbol{y}_j}{\sum_{j \leq n_\ell} \kappa_{ij}}$ 进行标签预测，即使在非对称核函数下也保持有效。
• 采用独立路径长度的随机方案（ExpInd）与确定性草图，高效估计核值。
• 通过rMag与LoReg指标进行成功度评分，并利用预测置信度 margin $\Delta_i = \|\overline{\boldsymbol{y}}(S) - \boldsymbol{f}_i\|_2$ 评估精确率-召回率权衡。

实验结果

研究问题

• RQ1 Reach与Distance Diffusion核函数在图的半监督学习中与传统谱核函数（如标签传播）相比表现如何？
• RQ2 基于扩散的核函数能否有效建模稀疏、现实世界网络（如社交或推荐图）中的微弱、有向关联？
• RQ3 与确定性或固定长度方案相比，随机化路径长度方案在多大程度上提升了标签预测质量？
• RQ4 性能对扩散过程中衰减函数 $g(x)$ 与 $\delta$ 等超参数的选择有多敏感？
• RQ5 基于草图的近似方法是否能在保持高精度的同时实现在大规模图上的可扩展性？

主要发现

• 使用 $g(x) = 1/x$ 与 $\delta = 50$ 的随机化距离扩散方案取得最佳性能，显著优于标签传播与基线方法。
• 随机化方案在更多模拟下性能显著提升，表明随机路径长度采样具有重要价值。
• 在小规模种子集上，rMag评分显示：$g(x) = x$ 的Reach Diffusion与 $g(x) = 1/x$ 的随机化距离扩散最为有效。
• 使用 $\alpha(x) = 1/\log_2(1+x)$ 与 $\delta = 50$ 的固定长度距离扩散方案表现良好，尤其在种子集较大时。
• 基线方法（平均种子标签）因类别不平衡导致成功得分为0.55，但所有基于扩散的方案均显著优于该基线。
• nn核函数在确定性方案下表现较差，但在随机化方案下表现优异，表明路径多样性比最近邻选择更为关键。