[论文解读] Smooth Neighbors on Teacher Graphs for Semi-supervised Learning

Yucen Luo, Jun Zhu+3 more|arXiv (Cornell University)|Nov 1, 2017

Human Pose and Action Recognition参考文献 42被引用 25

一句话总结

本文提出了一种名为基于教师图的平滑邻居（SNTG）的半监督学习方法，该方法通过教师模型预测构建动态图，以在数据流形上相邻数据点之间强制实现特征平滑性。通过在不增加额外参数的情况下，利用基于图的正则化来捕捉未标记数据的结构，SNTG实现了最先进性能，在CIFAR-10（4,000个标签）上将错误率降低至9.89%，在MNIST（20个标签）上降低至1.36%，并展现出对标签噪声的强鲁棒性。

ABSTRACT

The recently proposed self-ensembling methods have achieved promising results in deep semi-supervised learning, which penalize inconsistent predictions of unlabeled data under different perturbations. However, they only consider adding perturbations to each single data point, while ignoring the connections between data samples. In this paper, we propose a novel method, called Smooth Neighbors on Teacher Graphs (SNTG). In SNTG, a graph is constructed based on the predictions of the teacher model, i.e., the implicit self-ensemble of models. Then the graph serves as a similarity measure with respect to which the representations of "similar" neighboring points are learned to be smooth on the low-dimensional manifold. We achieve state-of-the-art results on semi-supervised learning benchmarks. The error rates are 9.89%, 3.99% for CIFAR-10 with 4000 labels, SVHN with 500 labels, respectively. In particular, the improvements are significant when the labels are fewer. For the non-augmented MNIST with only 20 labels, the error rate is reduced from previous 4.81% to 1.36%. Our method also shows robustness to noisy labels.

研究动机与目标

• 解决现有基于扰动的半监督学习方法仅考虑单个数据点的局部扰动，而忽略全局数据结构（如聚类或流形）的局限性。
• 通过在基于教师模型输出动态学习的图中，不仅在单个点周围，而且在连接的邻居之间强制实现特征平滑性，以提升泛化能力。
• 在计算开销极低且不增加额外网络参数的前提下，实现最先进性能。
• 提升对标签噪声的鲁棒性，并改善低维表示中的特征空间聚类。

提出的方法

• 使用教师模型的预测结果构建相似性图，其中边表示未标记样本之间的预测相似性。
• 将图作为结构归纳偏置，通过鼓励连接邻居之间的特征一致性来正则化学生模型。
• 应用双重随机采样算法，以高效处理大规模小批量数据并降低计算成本。
• 将基于图的平滑性正则化整合到现有SSL框架中，而无需增加额外模型参数。
• 利用深度网络的层次特征学习能力，将输入映射到低维空间，在该空间中强制实现邻域平滑性。
• 将平滑性损失表述为图拉普拉斯正则化，以鼓励连接节点具有相似特征，而非邻居则具有不同特征。

实验结果

研究问题

• RQ1 在动态构建的图中强制实现相邻点之间的平滑性，是否能超越单点扰动方法，显著提升半监督学习性能？
• RQ2 使用教师生成的图在低标签设置下如何增强特征聚类与泛化能力？
• RQ3 与标准监督学习和自训练基线相比，SNTG在多大程度上提升了对标签噪声的鲁棒性？
• RQ4 SNTG是否可以无缝集成到现有生成式和判别式SSL模型中，而无需架构修改？

主要发现

• 在仅使用4,000个标注样本的CIFAR-10上，SNTG实现了9.89%的最先进错误率，显著优于先前方法。
• 在仅20个标签的MNIST上，SNTG将错误率从4.81%降低至1.36%，在极端标签稀缺条件下表现出色。
• 该方法对标签噪声表现出强鲁棒性：在SVHN上90%标签被污染时，SNTG保持超过93%的准确率，而标准训练和TempEns方法性能急剧下降。
• 特征嵌入的可视化显示，SNTG生成的类簇更紧密、更紧凑，尤其在CIFAR-10和MNIST上，表明特征解耦更优。
• 在FM GAN上应用SNTG后，错误率从18.63%降至14.93%，同时通过减少伪影和重复现象提升了生成样本质量。
• 该方法计算开销可忽略不计，可轻松集成到现有SSL框架中，包括生成式和判别式模型。