[论文解读] Random walk kernels and learning curves for Gaussian process regression on random graphs

Matthew Urry, Peter Sollich|arXiv (Cornell University)|Nov 6, 2012

Gaussian Processes and Bayesian Inference被引用 7

一句话总结

本文研究了在大规模、局部树状随机图上使用随机游走核的高斯过程回归，表明核函数的全局归一化会导致顶点间先验方差高度可变——这破坏了概率建模的有效性。作者提出采用局部归一化以确保先验方差的均匀性，并开发了一种基于信念传播的方法，准确预测学习曲线，表明当归一化方式不匹配时，学习曲线会出现非单调行为并出现极大值，这是由图边界区域的局域贡献所致。

ABSTRACT

We consider learning on graphs, guided by kernels that encode similarity between vertices. Our focus is on random walk kernels, the analogues of squared exponential kernels in Euclidean spaces. We show that on large, locally treelike, graphs these have some counter-intuitive properties, specifically in the limit of large kernel lengthscales. We consider using these kernels as covariance matrices of e.g.\\ Gaussian processes (GPs). In this situation one typically scales the prior globally to normalise the average of the prior variance across vertices. We demonstrate that, in contrast to the Euclidean case, this generically leads to significant variation in the prior variance across vertices, which is undesirable from the probabilistic modelling point of view. We suggest the random walk kernel should be normalised locally, so that each vertex has the same prior variance, and analyse the consequences of this by studying learning curves for Gaussian process regression. Numerical calculations as well as novel theoretical predictions for the learning curves using belief propagation make it clear that one obtains distinctly different probabilistic models depending on the choice of normalisation. Our method for predicting the learning curves using belief propagation is significantly more accurate than previous approximations and should become exact in the limit of large random graphs.

研究动机与目标

• 分析随机游走核在大规模、局部树状随机图上的高斯过程回归中的行为。
• 识别全局核归一化方法的局限性，即尽管进行了统一缩放，仍导致顶点间先验方差显著波动。
• 提出并分析随机游走核的局部归一化方法，以确保每个顶点的先验方差保持一致。
• 开发一种基于信念传播的方法，用于在图上的高斯过程回归中准确预测学习曲线。
• 研究教师模型与学生模型之间归一化方式不匹配对学习曲线行为的影响。

提出的方法

• 在高斯过程回归中使用随机游走核作为协方差函数，核长度尺度控制图上顶点之间的相似性。
• 提出对核函数进行局部归一化，使得每个顶点具有相同的先验方差，与基于平均方差的全局归一化方法形成对比。
• 应用信念传播推导学习曲线的准确预测，超越基于特征值近似的局限性。
• 利用腔方法和信念传播推导学习曲线的解析表达式，并通过数值模拟进行验证。
• 通过比较全局归一化与局部归一化核的高斯过程回归，建模归一化不匹配的情形，分析其对预测行为的影响。
• 使用伪训练输出和有效预测向量，解释在归一化不匹配设置下学习曲线极大值的成因。

实验结果

研究问题

• RQ1 随机游走核的全局归一化如何影响在随机图上高斯过程回归中的先验方差分布？
• RQ2 为何在局部树状图中，全局归一化会导致顶点间先验方差出现不可取的波动？
• RQ3 使用局部归一化的随机游走核对高斯过程回归的学习曲线有何影响？
• RQ4 当教师模型使用全局归一化而学生模型使用局部归一化时，这种归一化方式的不匹配如何影响学习曲线形状与泛化误差？
• RQ5 在离散、图结构化的输入空间中，信念传播能否比基于特征值的近似方法提供更准确的学习曲线预测？

主要发现

• 在大规模、局部树状图中，随机游走核的全局归一化导致顶点间先验方差高度非均匀，与欧氏空间中的预期相反。
• 对核函数进行局部归一化可确保所有顶点的先验方差一致，从而为图上的高斯过程回归提供更一致的概率模型。
• 基于信念传播的学习曲线预测显著优于基于特征值的近似方法，尤其在中间区域表现更优。
• 当教师模型使用全局归一化而学生模型使用局部归一化时，学习曲线变为非单调并出现极大值。
• 学习曲线中的极大值源于预测向量在图的悬挂边或边界区域的局域贡献。
• 数值模拟证实，信念传播方法能准确捕捉学习曲线的行为，相较于以往近似方法具有更优的一致性。