[论文解读] The game theoretic p-Laplacian and semi-supervised learning with few labels

Jeff Calder|arXiv (Cornell University)|Nov 28, 2017

Statistical Methods and Inference参考文献 26被引用 5

一句话总结

该论文在有限标记数据和无限未标记数据的极限下，建立了基于图的半监督学习中博弈论 $p$-拉普拉斯算子的适定性。证明了图 $p$-拉普拉斯算子的连续极限对应于加权连续 $p$-拉普拉斯方程，并利用粘性解理论和图上的最大值原理，表明解以高概率近似为 Hölder 连续。

ABSTRACT

We study the game theoretic p-Laplacian for semi-supervised learning on graphs, and show that it is well-posed in the limit of finite labeled data and infinite unlabeled data. In particular, we show that the continuum limit of graph-based semi-supervised learning with the game theoretic p-Laplacian is a weighted version of the continuous p-Laplace equation. We also prove that solutions to the graph p-Laplace equation are approximately Holder continuous with high probability. Our proof uses the viscosity solution machinery and the maximum principle on a graph.

研究动机与目标

• 解决在标记数据稀缺而未标记数据丰富时，标准拉普拉斯正则化在半监督学习中不适定的问题。
• 在有限标记数据和无限未标记数据的极限下，建立博弈论 $p$-拉普拉斯算子的适定性。
• 表征当未标记点数量趋于无穷时，控制基于图的 $p$-拉普拉斯正则化的极限 PDE。
• 证明图 $p$-拉普拉斯方程的解以高概率近似为 Hölder 连续。

提出的方法

• 通过定义 $J_p(u) = \sum_{x,y} w_{xy}^p |u(x)-u(y)|^p$（其中 $1 \leq p < \infty$）的最小化问题，在图上构建基于博弈论的半监督学习，定义 $p$-拉普拉斯算子。
• 应用粘性解理论分析图上离散 $p$-拉普拉斯算子的连续极限。
• 利用图上的最大值原理控制振荡，并推导解的 Hölder 连续性估计。
• 在 $n \to \infty$ 且 $|\mathcal{O}|$ 固定的极限下，建立离散图算子收敛至加权连续 $p$-拉普拉斯方程。
• 使用 Borel-Cantelli 引理和集中度分析，证明图拉普拉斯算子以几乎必然的方式收敛至其连续对应形式。
• 通过测试函数和弱形式化技术，比较离散与连续问题的解，证明 $u_n$ 一致收敛至粘性解 $u$。

实验结果

研究问题

• RQ1 在未标记数据无限而标记数据有限的极限下，博弈论 $p$-拉普拉斯正则化是否能产生适定的半监督学习算法？
• RQ2 对于 $p \in [1, \infty)$，基于图的 $p$-拉普拉斯正则化的连续极限是什么？
• RQ3 随着未标记点数量的增加，离散 $p$-拉普拉斯方程解的正则性行为如何？
• RQ4 粘性解框架能否用于建立基于图的学习算法的收敛性和连续性性质？

主要发现

• 基于图的 $p$-拉普拉斯正则化的连续极限是一个加权 $p$-拉普拉斯方程，形式为 $\text{div}(f^2 |\nabla u|^{p-2} \nabla u) = 0$，定义在区域 $\mathbb{T}^d \setminus \mathcal{O}$ 上。
• 图 $p$-拉普拉斯方程的解以高概率近似为 Hölder 连续，其 Hölder 指数为 $1 - d/p$，取决于维度 $d$ 和参数 $p$。
• 在条件 $\lim_{n\to\infty} \frac{n h_n^q}{\log n} = \infty$ 下，离散解 $u_n$ 一致收敛至极限 PDE 的粘性解 $u$。
• 粘性解 $u$ 唯一，并在标记集合 $\mathcal{O}$ 上连续满足边界条件 $u = g$，从而在连续极限下确认了适定性。
• 通过 Borel-Cantelli 引理和集中度分析，建立了图拉普拉斯算子几乎必然收敛至其连续对应形式。