[论文解读] Poisson Learning: Graph Based Semi-Supervised Learning At Very Low Label Rates

Jeff Calder, Brendan Cook+2 more|Research Explorer (The University of Manchester)|Jun 19, 2020

Domain Adaptation and Few-Shot Learning被引用 29

一句话总结

该论文提出了一种新型基于图的半监督学习方法——泊松学习（Poisson learning），通过将标签分配替换为在图上求解泊松方程时的源点/汇点放置，实现了在极低标签率下的优越稳定性与准确性。该方法在MNIST、FashionMNIST和CIFAR-10数据集上均优于拉普拉斯学习及其他最先进方法，尤其在超低标签率下表现突出，且通过一种称为泊松MBO的图切割增强技术进一步提升了性能。

ABSTRACT

We propose a new framework, called Poisson learning, for graph based semi-supervised learning at very low label rates. Poisson learning is motivated by the need to address the degeneracy of Laplacian semi-supervised learning in this regime. The method replaces the assignment of label values at training points with the placement of sources and sinks, and solves the resulting Poisson equation on the graph. The outcomes are provably more stable and informative than those of Laplacian learning. Poisson learning is efficient and simple to implement, and we present numerical experiments showing the method is superior to other recent approaches to semi-supervised learning at low label rates on MNIST, FashionMNIST, and Cifar-10. We also propose a graph-cut enhancement of Poisson learning, called Poisson MBO, that gives higher accuracy and can incorporate prior knowledge of relative class sizes.

研究动机与目标

• 解决极低标签率下拉普拉斯半监督学习出现退化的问题，此时解会产生局部化尖峰，导致标签无法有效传播。
• 通过识别出大常数偏差为根本原因，克服拉普拉斯学习在低标签场景下的不稳定性与泛化能力差的问题。
• 提出一种新型、高效且可证明更稳定的半监督学习方法，即使每类仅有少数几个标注样本也能表现良好。
• 在学习过程中融入类别大小的先验知识，以提升不平衡设置下的分类准确性。
• 提出一种图切割增强方法（泊松MBO），进一步提升性能，并支持体积约束分类。

提出的方法

• 将标准拉普拉斯学习的公式替换为一种建模为源点与汇点的泊松方程，而非在顶点上固定值。
• 在图上求解离散泊松方程：$ \mathcal{L}u = f $，其中 $ f $ 是在标注节点上支持的源项，$ \mathcal{L} $ 为图拉普拉斯矩阵。
• 通过随机游走的解释表明，泊松学习利用了在混合时间之前的信息传播，从而保留了初始标签信息。
• 采用两步算法：通过迭代线性求解方法求解泊松方程，然后在解空间中通过最近邻分类进行标签分配。
• 通过图切割方法（泊松MBO）增强该方法，通过交替优化引入类别大小先验，提升分类准确性。
• 使用 $ K $-近邻构建图，采用高斯加权核，对称化权重矩阵，并将对角线元素设为零以加速收敛。

实验结果

研究问题

• RQ1 为什么拉普拉斯学习在极低标签率下会灾难性地失效？其退化的主要原因是什么？
• RQ2 能否将基于图的半监督学习重新表述为泊松问题，从而在低标签场景下提升稳定性与标签传播能力？
• RQ3 泊松学习的随机游走解释与拉普拉斯学习有何不同？这揭示了关于信息传播的哪些新见解？
• RQ4 泊松学习的图切割增强方法能否整合类别大小的先验知识，并进一步提升分类准确性？
• RQ5 在超低标签率下，泊松学习与 $ p $-拉普拉斯、WNLL 及基于MBO的最先进方法相比，其性能如何量化比较？

主要发现

• 在所有低标签率下，泊松学习的准确率显著高于拉普拉斯学习，在MNIST、FashionMNIST和CIFAR-10上均提升了几个百分点。
• 泊松MBO在所有方法中表现最佳，尤其在超低标签率（如每类1–5个样本）下，优于 $ p $-拉普拉斯和体积约束MBO方法。
• 在MNIST数据集中，每类仅5个标签时，泊松学习对 $ K $-近邻图构造中 $ K $ 的选择具有鲁棒性，敏感性极低。
• 对于类别不平衡的训练数据，泊松学习的标签决策规则能有效补偿类别不平衡，相比平衡基线方法准确率更高。
• 该方法计算效率高且易于实现，通过将对角线权重设为零可进一步加速收敛。
• 数值实验表明，泊松MBO在MNIST上使用每类5个标签时准确率超过90%，优于最近邻基线及其他SOTA方法。