[论文解读] Word Embedding Perturbation for Sentence Classification

Dongxu Zhang, Zhichao Yang|arXiv (Cornell University)|Apr 22, 2018

Topic Modeling参考文献 21被引用 35

一句话总结

本文提出词嵌入扰动作为一种数据增强技术，通过向预训练词嵌入添加噪声来减少句子分类中的过拟合。结果表明，带有约束的对抗性训练在多个自然语言处理任务中均能持续提升性能，尤其在训练数据有限时表现优于标准的dropout和高斯噪声方法。

ABSTRACT

In this technique report, we aim to mitigate the overfitting problem of natural language by applying data augmentation methods. Specifically, we attempt several types of noise to perturb the input word embedding, such as Gaussian noise, Bernoulli noise, and adversarial noise, etc. We also apply several constraints on different types of noise. By implementing these proposed data augmentation methods, the baseline models can gain improvements on several sentence classification tasks.

研究动机与目标

• 解决在小规模监督NLP数据集上训练的神经网络模型中的过拟合问题。
• 探索连续词嵌入空间中的数据增强技术，避免依赖外部知识或离散文本操作。
• 评估不同类型噪声（高斯、伯努利和对抗性）对句子分类性能的影响。
• 研究对噪声施加约束（如空间约束或损失对抗性约束）如何提升模型泛化能力。
• 比较连续噪声（高斯）与离散噪声（伯努利）在模型性能与鲁棒性方面的差异。

提出的方法

• 通过从正态分布中采样噪声矩阵，对输入词嵌入序列进行逐元素乘法操作来应用高斯噪声：$ X_{emb} \leftarrow X_{emb} \odot e, e \sim \mathcal{N}(I, \sigma^2 I) $。
• 将伯努利噪声实现为一种dropout形式：$ X_{emb} \leftarrow (1/p)X_{emb} \odot e, e \sim \mathcal{B}(n,p) $，其中单位以概率 $ 1-p $ 随机置零。
• 使用对抗性训练生成使损失最大化的扰动：$ e \leftarrow e + \sigma g / \|g\| $，其中 $ g = \nabla_e L(X;\theta) $。
• 引入约束变体，如词dropout、语义dropout和损失对抗性噪声，通过保留上下文或语义结构来提升鲁棒性。
• 仅在训练阶段应用扰动，推理阶段保持原始输入不变。
• 采用多通道CNN和多视角CNN模型进行句子分类，使用预训练的word2vec和GloVe嵌入，并支持微调或固定权重。

实验结果

研究问题

• RQ1 在训练数据有限的句子分类任务中，向词嵌入添加连续噪声是否能提升泛化能力？
• RQ2 在多个NLP基准测试中，不同类型的噪声（高斯、伯努利和对抗性）在性能与稳定性方面如何比较？
• RQ3 对噪声施加约束（如空间或损失对抗性约束）是否能带来比无约束噪声更好的模型鲁棒性与性能？
• RQ4 连续噪声（如高斯噪声）是否比离散噪声（如伯努利dropout）在保持模型性能的同时更有效地提升泛化能力？
• RQ5 随着训练数据规模减小，词嵌入扰动的有效性如何变化？

主要发现

• 带有扰动的对抗性训练在所有数据集上均一致提升了性能，相比基线模型提升0.1%至0.4%。
• 高斯对抗性噪声在SST和TrecQA数据集上表现出显著改进，表明其在提升鲁棒性方面的有效性。
• 伯努利-语义噪声表现有潜力但不够稳定，尤其在TrecQA数据集上，表明其对语义约束较为敏感。
• 连续噪声类型（高斯、高斯对抗性）优于或至少不逊于离散噪声类型（伯努利、对抗性dropout），可能归因于更高的熵和更平滑的扰动。
• 随着训练数据规模减小，扰动带来的性能增益显著提升，表明在小样本数据上收益更明显。
• 如词dropout和语义dropout等约束方法优于原始dropout，表明上下文感知的噪声设计可增强模型泛化能力。