[论文解读] Semi-Supervised Learning by Augmented Distribution Alignment

Qin Wang, Wen Li+1 more|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 50被引用 7

一句话总结

该论文提出了一种名为增强分布对齐（ADA-Net）的半监督学习方法，通过对抗性特征对齐和跨数据集数据插值，减少有标签与无标签数据之间的经验分布差异。通过在潜在空间中对齐分布并生成伪样本，ADA-Net在CIFAR10（8.72%错误率）和SVHN（3.54%错误率）上取得了当前最优结果，且网络架构改动极小。

ABSTRACT

In this work, we propose a simple yet effective semi-supervised learning approach called Augmented Distribution Alignment. We reveal that an essential sampling bias exists in semi-supervised learning due to the limited number of labeled samples, which often leads to a considerable empirical distribution mismatch between labeled data and unlabeled data. To this end, we propose to align the empirical distributions of labeled and unlabeled data to alleviate the bias. On one hand, we adopt an adversarial training strategy to minimize the distribution distance between labeled and unlabeled data as inspired by domain adaptation works. On the other hand, to deal with the small sample size issue of labeled data, we also propose a simple interpolation strategy to generate pseudo training samples. Those two strategies can be easily implemented into existing deep neural networks. We demonstrate the effectiveness of our proposed approach on the benchmark SVHN and CIFAR10 datasets. Our code is available at \url{https://github.com/qinenergy/adanet}.

研究动机与目标

• 为半监督学习中被低估的有限有标签数据与大量无标签数据之间的经验分布差异问题提供解决方案。
• 通过在潜在空间中对齐有标签与无标签数据的经验分布，提升模型泛化能力。
• 通过一种新颖的基于插值的数据增强策略，缓解有标签数据样本量过小的问题。
• 开发一种简单、即插即用的方法，可无缝集成到现有深度神经网络的半监督学习框架中。

提出的方法

• 采用对抗性训练以最小化潜在空间中无标签与有标签特征之间的分布距离，灵感来源于域自适应方法。
• 使用梯度反转层，实现分布对齐目标的端到端训练。
• 通过在输入空间中对有标签与无标签数据点进行插值，生成伪样本，提升分布覆盖度。
• 基于插值的增强策略增加了数据多样性，有助于弥合因有标签数据稀疏导致的分布差距。
• 该方法对标准深度网络仅做最小程度修改，可轻松集成到现有半监督学习框架中。
• 该方法将分布对齐与数据增强整合为统一的训练目标，从而提升泛化性能。

实验结果

研究问题

• RQ1 有标签与无标签数据之间的经验分布差异在多大程度上影响半监督学习的性能？
• RQ2 对抗性特征对齐是否能有效减少半监督学习中的分布差异？
• RQ3 当有标签数据稀缺时，跨集插值能在多大程度上提升模型泛化能力？
• RQ4 所提出的方法是否与现有半监督学习技术（如一致性正则化或自训练）具有互补性？
• RQ5 分布对齐与数据增强的结合是否能在标准基准上实现最先进性能？

主要发现

• 在仅使用10%有标签数据的情况下，ADA-Net在CIFAR10上实现了8.72%的测试错误率新SOTA结果，优于先前方法。
• 在SVHN上，当与VAT+Ent结合时，ADA-Net达到3.54%错误率，创下新SOTA记录。
• 通过SVHN上的核密度估计对比，证明了模型显著减少了经验分布差异。
• ADA-Net在低标签设置下仍表现优异，展现出对标签稀缺的强鲁棒性。
• 与VAT+Ent结合时，ADA-Net在CIFAR10上实现10.09%错误率，优于基线模型。
• 在ImageNet上使用10%标签时，ADA-Net实现44.91%的top-1错误率，优于Mean Teacher和Dual-View Deep Co-Training。