[论文解读] Virtual Adversarial Training for Semi-Supervised Text Classification

Takeru Miayto, Andrew M. Dai+1 more|arXiv (Cornell University)|May 25, 2016

Anomaly Detection Techniques and Applications被引用 40

一句话总结

本文提出了一种用于文本分类的新型虚拟对抗训练方法，该方法在循环神经网络中对词嵌入应用扰动，而非原始的独热输入，从而实现了有效的半监督学习。该方法在多个基准任务上取得了最先进性能，同时提升了嵌入质量并减少了过拟合。

ABSTRACT

Adversarial training provides a means of regularizing supervised learning algorithms while virtual adversarial training is able to extend supervised learning algorithms to the semi-supervised setting. However, both methods require making small perturbations to numerous entries of the input vector, which is inappropriate for sparse high-dimensional inputs such as one-hot word representations. We extend adversarial and virtual adversarial training to the text domain by applying perturbations to the word embeddings in a recurrent neural network rather than to the original input itself. The proposed method achieves state of the art results on multiple benchmark semi-supervised and purely supervised tasks. We provide visualizations and analysis showing that the learned word embeddings have improved in quality and that while training, the model is less prone to overfitting.

研究动机与目标

• 为解决标准对抗训练在稀疏、高维文本输入（如独热词表示）中的局限性。
• 通过在词嵌入上操作而非原始输入向量，将虚拟对抗训练扩展至文本领域。
• 在半监督和监督文本分类任务中提升泛化能力并减少过拟合。
• 通过对抗正则化提升学习到的词嵌入质量。

提出的方法

• 扰动应用于循环神经网络中的词嵌入，而非原始的独热输入向量。
• 该方法使用虚拟对抗训练生成扰动，以最大化预测方差，且无需对扰动输入提供标签。
• 通过一阶近似计算对抗扰动，以降低计算成本。
• 模型通过结合在标注数据上的监督损失和在标注与未标注数据上的一致性正则化进行训练。
• 该方法利用词嵌入的连续性，生成有意义的对抗样本，从而提升模型鲁棒性。
• 该方法应用于基于RNN的文本分类器，并在标准基准数据集上进行评估。

实验结果

研究问题

• RQ1 虚拟对抗训练能否有效适配于稀疏、高维输入的文本分类任务？
• RQ2 与原始输入相比，对词嵌入进行扰动是否能在半监督学习中带来更好的泛化性能？
• RQ3 在准确率和鲁棒性方面，该方法与现有监督和半监督基线方法相比表现如何？
• RQ4 对抗训练在多大程度上改善了文本模型中学习到的词嵌入质量？

主要发现

• 所提方法在多个基准半监督和纯监督文本分类任务上达到了最先进性能。
• 在低资源标注数据设置下，模型训练过程中的过拟合现象显著减少。
• 可视化结果表明，使用该方法学习到的词嵌入展现出更优的语义结构与质量。
• 该方法通过鼓励在词嵌入的小幅扰动下预测结果的一致性，有效实现了模型正则化。