[论文解读] Virtual Adversarial Ladder Networks For Semi-supervised Learning

Saki Shinoda, Daniel E. Worrall+1 more|arXiv (Cornell University)|Nov 20, 2017

Anomaly Detection Techniques and Applications参考文献 7被引用 4

一句话总结

该论文提出了一种名为虚拟对抗性分层网络（LVAN-LW）的半监督学习模型，通过将分层网络与逐层虚拟对抗训练相结合，提升了模型的鲁棒性与准确性。通过在中间潜在空间中引入对抗性噪声，该方法在仅使用每类5个标签的情况下，于MNIST数据集上实现了1.42%±0.12的错误率，达到当前最优性能，且在对抗性样本上的表现显著优于基线模型。

ABSTRACT

Semi-supervised learning (SSL) partially circumvents the high cost of labeling data by augmenting a small labeled dataset with a large and relatively cheap unlabeled dataset drawn from the same distribution. This paper offers a novel interpretation of two deep learning-based SSL approaches, ladder networks and virtual adversarial training (VAT), as applying distributional smoothing to their respective latent spaces. We propose a class of models that fuse these approaches. We achieve near-supervised accuracy with high consistency on the MNIST dataset using just 5 labels per class: our best model, ladder with layer-wise virtual adversarial noise (LVAN-LW), achieves 1.42% +/- 0.12 average error rate on the MNIST test set, in comparison with 1.62% +/- 0.65 reported for the ladder network. On adversarial examples generated with L2-normalized fast gradient method, LVAN-LW trained with 5 examples per class achieves average error rate 2.4% +/- 0.3 compared to 68.6% +/- 6.5 for the ladder network and 9.9% +/- 7.5 for VAT.

研究动机与目标

• 通过在潜在空间中对分布平滑性进行统一解释，融合分层网络与虚拟对抗训练（VAT），以提升半监督学习性能。
• 通过增强模型的泛化能力与鲁棒性，在最小监督条件下应对深度学习中标签数据有限的挑战。
• 探究VAT的对抗性正则化是否能提升分层网络的性能，尤其是在低样本设置下。
• 评估模型在对抗性攻击下的鲁棒性，特别是针对$L_2$-归一化与$L_∞$-范数扰动。
• 探索在半监督模型中，输入空间与中间潜在空间平滑性之间的权衡。

提出的方法

• 提出了一种新颖的解释：将分层网络与VAT分别视为对潜在空间施加各向同性与各向异性分布平滑的方法。
• 提出了四种变体：LVAC（虚拟对抗性损失）、LVAC-LW（逐层损失）、LVAN（虚拟对抗性噪声注入）与LVAN-LW（逐层噪声注入）。
• 在无监督损失曲率最大的方向上施加虚拟对抗性扰动，以在潜在表示中强制实现局部平滑性。
• 使用逐层虚拟对抗性噪声（LVAN-LW）将扰动注入编码路径，从而在不增加前向传播次数的情况下提升鲁棒性。
• 通过结合监督交叉熵损失、去噪重建损失（分层网络）以及各层的虚拟对抗性损失（VAT）进行模型训练。
• 采用$L_2$-归一化的快速梯度法生成对抗性样本，用于鲁棒性评估。

实验结果

研究问题

• RQ1 在低标签设置下，虚拟对抗性训练能否提升分层网络在半监督学习中的性能？
• RQ2 与全局对抗性损失相比，逐层虚拟对抗性噪声注入在模型泛化与鲁棒性方面有何影响？
• RQ3 将分层网络与VAT结合是否能提升模型对对抗性样本的鲁棒性，特别是在$L_2$-归一化扰动下？
• RQ4 在模型准确率与稳定性方面，输入空间与中间潜在空间平滑性之间存在何种权衡？
• RQ5 在每类仅使用5至10个标签进行训练时，所提模型与基线模型在错误率与一致性方面表现如何？

主要发现

• LVAN-LW模型在仅使用每类5个标签的情况下，于MNIST数据集上实现了1.42%±0.12的测试错误率，优于标准分层网络（1.62%±0.65）。
• 在$L_2$-归一化对抗样本上，LVAN-LW在每类5个标签时的错误率为2.4%±0.3，而分层网络为68.6%±6.5，VAT为9.9%±7.5。
• LVAN-LW在$L_1$与$L_2$-归一化对抗样本上表现更优，尤其在低样本设置（每类50与100个标签）下优势显著。
• 由于前向传播次数更少，采用逐层虚拟对抗性噪声的模型（LVAN-LW）比基于损失的变体（LVAC-LW）更快且更稳定。
• 虚拟对抗性损失度量表明，LVAN与LVAN-LW在输入空间中比LVAC与LVAC-LW更平滑，表明其有效实现了局部平滑。
• 性能提升在低标签设置（50与100个标签）下最为显著，表明VAT正则化在任务更具挑战性时最为有益。