[论文解读] Semi-Supervised Learning by Label Gradient Alignment

Jacob Jackson, John Schulman|arXiv (Cornell University)|Feb 6, 2019

Advanced Neural Network Applications参考文献 26被引用 14

一句话总结

本文提出标签梯度对齐（Label Gradient Alignment, LGA），一种半监督学习方法，通过在参数空间中最小化有标签样本与无标签样本模型梯度之间的欧几里得距离，来对无标签数据进行标签插补。通过在训练过程中利用梯度下降优化这些插补标签，LGA在CIFAR-10上实现了最先进（SOTA）的准确率，优于现有的一致性正则化方法。

ABSTRACT

We present label gradient alignment, a novel algorithm for semi-supervised learning which imputes labels for the unlabeled data and trains on the imputed labels. We define a semantically meaningful distance metric on the input space by mapping a point (x, y) to the gradient of the model at (x, y). We then formulate an optimization problem whose objective is to minimize the distance between the labeled and the unlabeled data in this space, and we solve it by gradient descent on the imputed labels. We evaluate label gradient alignment using the standardized architecture introduced by Oliver et al. (2018) and demonstrate state-of-the-art accuracy in semi-supervised CIFAR-10 classification.

研究动机与目标

• 开发一种半监督学习方法，通过在模型参数空间中定义语义上有意义的距离度量，有效利用无标签数据。
• 解决在高维输入空间中为深度神经网络定义“接近性”的挑战，特别是在有标签数据稀缺的情况下。
• 通过端到端优化插补标签，对齐有标签与无标签数据的梯度，从而提升泛化能力。
• 证明基于梯度的相似性度量可优于或补充现有的一致性正则化技术，在半监督图像分类任务中表现更优。

提出的方法

• 该方法将每个数据点 (x, y) 映射到其在参数空间中的模型梯度 ∇θL(θ, x, y)，从而形成一种语义上有意义的度量。
• 在该空间中，将最小化有标签与无标签数据梯度之间归一化L2距离的问题形式化为一个优化问题。
• 无标签数据的插补标签通过一个可学习向量 w 参数化，分类任务使用Softmax，回归任务使用恒等映射。
• 优化过程交替更新模型权重 θ（使用Adam）和标签参数 w（通过梯度下降最小化归一化梯度距离）
• 采用归一化梯度距离度量，结合梯度平方的指数移动平均（EMA）和 ε_norm 以保证数值稳定性，从而实现尺度不变性。
• 该方法端到端训练，使用调度系数 T(i) 平衡训练过程中有标签与无标签梯度的贡献。

实验结果

研究问题

• RQ1 在模型参数空间中，基于梯度的相似性能否作为半监督学习中定义数据点语义相似性的可靠度量？
• RQ2 通过在梯度距离目标上使用梯度下降优化插补标签，是否能提升在有标签数据有限情况下的模型泛化能力？
• RQ3 与最先进的如虚拟对抗训练（Virtual Adversarial Training）等一致性正则化方法相比，标签梯度对齐在准确率和鲁棒性方面表现如何？
• RQ4 所提出的方法是否可与现有半监督学习技术结合，进一步提升性能？

主要发现

• 标签梯度对齐在使用Oliver等人（2018）标准化架构的半监督CIFAR-10基准上实现了最先进（SOTA）的准确率。
• 该方法优于单独使用的一致性正则化技术（如Π-Model和虚拟对抗训练），尤其在与它们结合时表现更优。
• 归一化梯度距离度量确保了尺度不变性，并提升了优化稳定性，从而带来一致的性能增益。
• 在合成数据上的实证分析表明，LGA能有效对齐相似样本的梯度，验证了其核心直觉。
• 该方法在极少数有标签样本下也表现出强大的泛化能力，凸显其在低数据场景下的高效性。