[论文解读] Rethinking Perturbations in Encoder-Decoders for Fast Training

Sho Takase, Shun Kiyono|arXiv (Cornell University)|Apr 5, 2021

Natural Language Processing Techniques参考文献 44被引用 4

一句话总结

本文评估了神经编码器-解码器模型在序列到序列任务中各种扰动技术的计算效率和性能。研究发现，像词掩蔽和随机词替换这类简单方法在性能上可与复杂技术（如调度采样和对抗性扰动）相媲美，甚至更优，同时训练速度显著更快，因此在时间受限的训练场景中是更优选择。

ABSTRACT

We often use perturbations to regularize neural models. For neural encoder-decoders, previous studies applied the scheduled sampling (Bengio et al., 2015) and adversarial perturbations (Sato et al., 2019) as perturbations but these methods require considerable computational time. Thus, this study addresses the question of whether these approaches are efficient enough for training time. We compare several perturbations in sequence-to-sequence problems with respect to computational time. Experimental results show that the simple techniques such as word dropout (Gal and Ghahramani, 2016) and random replacement of input tokens achieve comparable (or better) scores to the recently proposed perturbations, even though these simple methods are faster. Our code is publicly available at https://github.com/takase/rethink_perturbations.

研究动机与目标

• 评估近期扰动方法在序列到序列模型中的计算成本与有效性。
• 探究在计算开销较高的情况下，复杂扰动如调度采样和对抗性训练是否真正必要。
• 评估更简单、更快的扰动技术是否能实现与最先进方法相当的性能。
• 提供实证证据，表明简单扰动可作为未来研究中强大而高效的基线。
• 鼓励在序列到序列训练中默认采用轻量级扰动作为基线，以降低训练成本。

提出的方法

• 本研究比较了三种主要扰动类型：词替换（如调度采样）、词掩蔽（随机屏蔽标记）和对抗性扰动（嵌入空间中的基于梯度的扰动）。
• 对于词替换，作者评估了均匀替换（Rep(Uni)）和简单采样（Rep(Sim)）策略，其中标记被从词汇表中随机采样的词替换。
• 词掩蔽通过在训练期间随机用 <UNK> 标记屏蔽输入标记来实现，该技术此前已用于语言建模。
• 对抗性扰动通过虚拟对抗训练（VAT）实现，其中扰动通过在嵌入空间中进行梯度上升来计算，以最大化损失。
• 实验在机器翻译（WMT 英德）、语法错误纠正（BEA）和生成式摘要（CNN/DM）任务上进行，采用基于 Transformer 的模型。
• 所有方法在相同训练条件下进行评估，以确保公平比较，训练时间与模型性能（BLEU、BLEU-2、BERTScore）均被测量。

实验结果

研究问题

• RQ1 近期复杂的扰动方法（如调度采样和对抗性训练）在计算效率上是否足够高，可实际应用？
• RQ2 更简单、更快的扰动技术（如词掩蔽和随机标记替换）是否能实现与先进方法相当的性能？
• RQ3 在实现相似模型性能时，不同扰动策略的训练时间如何比较？
• RQ4 简单扰动的有效性是否在不同序列到序列任务（如翻译、摘要和语法错误纠正）中存在差异？
• RQ5 简单扰动能否作为神经编码器-解码器模型未来研究中的强大且高效的基线？

主要发现

• 在 WMT 英德翻译任务中，词掩蔽（WDrop）和随机替换（Rep(Uni) + WDrop）在训练时间受限的情况下，达到的 BLEU 分数与对抗性扰动（Adv）相当，甚至更优。
• 在低资源设置下，对抗性扰动取得了较高的 BLEU 分数，但当给予相似训练时间时，简单方法也几乎与之匹配。
• Rep(Sim) 方法表现出优于其他扰动策略的鲁棒性，表明其在泛化能力方面的有效性。
• 像词掩蔽和随机替换这样的简单扰动技术，相比调度采样和对抗性训练，显著更快，大幅降低了训练开销。
• 在 BEA 语法错误纠正数据集上，Rep(Uni) + WDrop 和 Rep(Sim) + WDrop 的性能与 Adv 相当，证实了简单方法在翻译之外任务中的有效性。
• 作者观察到，无扰动的基线模型性能略低于先前工作，可能由于训练随机性，但所有扰动方法均优于该基线。