[论文解读] Rates of Convergence for Laplacian Semi-Supervised Learning with Low Labeling Rates

Jeff Calder, Dejan Slepčev+1 more|arXiv (Cornell University)|Jun 4, 2020

Statistical Methods and Inference被引用 4

一句话总结

本文通过图正则化方法分析了在低标注率下拉普拉斯半监督学习的收敛速率。研究建立表明，当标注率 β ≪ ε² 时会出现退化现象（在标注点处出现尖峰），而当 β ≫ ε² 时则与连续拉普拉斯方程保持一致，误差界为 O(εβ⁻¹ᐟ²)，考虑对数因子，证明中使用了随机游走和 Γ-收敛工具。

ABSTRACT

We study graph-based Laplacian semi-supervised learning at low labeling rates. Laplacian learning uses harmonic extension on a graph to propagate labels. At very low label rates, Laplacian learning becomes degenerate and the solution is roughly constant with spikes at each labeled data point. Previous work has shown that this degeneracy occurs when the number of labeled data points is finite while the number of unlabeled data points tends to infinity. In this work we allow the number of labeled data points to grow to infinity with the number of labels. Our results show that for a random geometric graph with length scale $\varepsilon>0$ and labeling rate $β>0$, if $β\ll\varepsilon^2$ then the solution becomes degenerate and spikes form, and if $β\gg \varepsilon^2$ then Laplacian learning is well-posed and consistent with a continuum Laplace equation. Furthermore, in the well-posed setting we prove quantitative error estimates of $O(\varepsilonβ^{-1/2})$ for the difference between the solutions of the discrete problem and continuum PDE, up to logarithmic factors. We also study $p$-Laplacian regularization and show the same degeneracy result when $β\ll \varepsilon^p$. The proofs of our well-posedness results use the random walk interpretation of Laplacian learning and PDE arguments, while the proofs of the ill-posedness results use $Γ$-convergence tools from the calculus of variations. We also present numerical results on synthetic and real data to illustrate our results.

研究动机与目标

• 理解当标注点数量随总数据量增长时，拉普拉斯半监督学习的渐近行为。
• 在低标注率下，识别图学习中退化与良好设定（well-posed）区域之间的临界阈值。
• 建立离散图解向连续PDE解收敛的定量误差估计。
• 将分析扩展至 p-拉普拉斯正则化，并推导相应的退化条件。
• 通过合成数据和真实数据上的数值实验验证理论发现。

提出的方法

• 使用基于核函数 ηε(|xi−xj|) 定义边权的随机几何图来建模数据结构。
• 通过图拉普拉斯方程分析拉普拉斯学习，并阐明其与调和延拓及随机游走期望的等价性。
• 利用随机游走解释推导标签传播与收敛性的概率直觉。
• 应用变分法中的 Γ-收敛技术，证明极限情况下的适定性与一致性。
• 通过PDE方法和测度论收敛工具（包括 Lp 收敛与输运映射）推导误差界。
• 通过分析非局部 Dirichlet 能量及其 Γ-极限，将结果扩展至 p-拉普拉斯正则化。

实验结果

研究问题

• RQ1 在何种条件下，拉普拉斯半监督学习在低标注率下会出现退化？
• RQ2 标注率 β 与图长度尺度 ε 之间存在何种临界标度关系，可将退化行为与一致行为区分开来？
• RQ3 在良好设定区域中，离散图解向连续PDE解的收敛速率如何？
• RQ4 该分析如何推广至 p-拉普拉斯正则化？相应的退化阈值是什么？
• RQ5 理论收敛结果能否通过在合成数据和真实数据上的数值实验得到验证？

主要发现

• 当 β ≪ ε² 时发生退化，导致解近似为常数，但在标注点处出现尖锐峰值。
• 当 β ≫ ε² 时，适定性与连续拉普拉斯方程保持一致。
• 离散解与连续PDE解之间的误差被 O(εβ⁻¹ᐟ²) 限制，考虑对数因子。
• 对于 p-拉普拉斯正则化，退化发生在 β ≪ εᵖ 时，推广了二次情形的结果。
• 通过合成与真实数据集上的数值实验验证了理论收敛性，证实了预测的标度行为。
• Γ-收敛与随机游走解释为渐近行为和误差估计提供了严格的理论依据。