[论文解读] Scheduled DropHead: A Regularization Method for Transformer Models

Wangchunshu Zhou, Tao Ge+3 more|arXiv (Cornell University)|Apr 28, 2020

Topic Modeling参考文献 30被引用 6

一句话总结

本文提出Scheduled DropHead，一种结构化dropout方法，通过在训练过程中随机丢弃整个注意力头来防止少数注意力头主导模型，从而提升泛化能力。该方法引入一种V形dropout率调度策略，在训练初期和末期提高dropout率，从而在不改变网络结构的前提下，使WMT14 En-De翻译任务的性能提升0.9 BLEU，文本分类任务的准确率提升约1.0。

ABSTRACT

In this paper, we introduce DropHead, a structured dropout method specifically designed for regularizing the multi-head attention mechanism, which is a key component of transformer, a state-of-the-art model for various NLP tasks. In contrast to the conventional dropout mechanisms which randomly drop units or connections, the proposed DropHead is a structured dropout method. It drops entire attention-heads during training and It prevents the multi-head attention model from being dominated by a small portion of attention heads while also reduces the risk of overfitting the training data, thus making use of the multi-head attention mechanism more efficiently. Motivated by recent studies about the learning dynamic of the multi-head attention mechanism, we propose a specific dropout rate schedule to adaptively adjust the dropout rate of DropHead and achieve better regularization effect. Experimental results on both machine translation and text classification benchmark datasets demonstrate the effectiveness of the proposed approach.

研究动机与目标

• 为解决多头注意力机制中的头主导问题，即仅有少数注意力头对模型输出有显著贡献。
• 通过减少注意力头之间的共适应性，提升Transformer模型的泛化能力。
• 设计一种与训练动态感知的正则化方法，以增强对注意力头的结构化dropout效果。
• 在剪枝大量注意力头后，实现更好的模型鲁棒性和性能。

提出的方法

• DropHead通过在训练过程中随机丢弃整个注意力头而非单个单元或连接，实现结构化dropout。
• 每个注意力头具有固定的被丢弃概率，从而强制所有头对模型性能做出有意义的贡献。
• 引入一种V形dropout率调度策略，在训练开始和结束时提高dropout率，中间阶段降低。
• 该调度策略的动机源于训练动态：头主导现象最可能出现在训练初期和末期。
• 该方法应用于Transformer架构中的编码器-编码器、编码器-解码器和解码器-解码器注意力模块。
• 该方法无需架构修改，且与标准Transformer训练流程完全兼容。

实验结果

研究问题

• RQ1 在完整注意力头上应用结构化dropout是否能提升Transformer模型的性能和泛化能力？
• RQ2 一种在训练过程中动态变化的dropout率调度器是否能进一步增强DropHead的正则化效果？
• RQ3 Scheduled DropHead如何影响注意力头的重要性以及模型对剪枝的鲁棒性？
• RQ4 所提出的方法是否在多种NLP任务（如翻译和文本分类）中均能提升性能？
• RQ5 V形dropout率调度策略是否优于恒定或线性变化（课程/反课程）调度策略？

主要发现

• 与标准Transformer相比，Scheduled DropHead在WMT14 En-De翻译任务上提升了0.9 BLEU。
• 该方法在多个文本分类基准上实现了约1.0的准确率增益。
• 将Scheduled DropHead应用于编码器-编码器和编码器-解码器注意力模块，可获得最大的性能提升。
• V形dropout率调度策略优于恒定和线性（课程/反课程）调度策略。
• 采用Scheduled DropHead训练的模型表现出更强的鲁棒性，即使剪枝大量注意力头后仍能保持性能。
• DropHead减少了注意力头之间的过度共适应性，促使更多头编码有用信息。