[论文解读] TLDR: Token Loss Dynamic Reweighting for Reducing Repetitive Utterance Generation

Shaojie Jiang, Thomas Wolf+2 more|arXiv (Cornell University)|Mar 26, 2020

Topic Modeling参考文献 38被引用 11

一句话总结

该论文提出TLDR（Token Loss Dynamic Reweighting，令牌损失动态重加权）方法，通过基于令牌难度动态调整训练损失权重，减少编码器-解码器模型中的重复文本生成。通过增强难样本令牌的梯度并抑制易样本令牌的梯度，TLDR在对话基准测试中优于Focal Loss和均匀加权等基线方法，适用于RNN与Transformer架构。

ABSTRACT

Natural Language Generation (NLG) models are prone to generating repetitive utterances. In this work, we study the repetition problem for encoder-decoder models, using both recurrent neural network (RNN) and transformer architectures. To this end, we consider the chit-chat task, where the problem is more prominent than in other tasks that need encoder-decoder architectures. We first study the influence of model architectures. By using pre-attention and highway connections for RNNs, we manage to achieve lower repetition rates. However, this method does not generalize to other models such as transformers. We hypothesize that the deeper reason is that in the training corpora, there are hard tokens that are more difficult for a generative model to learn than others and, once learning has finished, hard tokens are still under-learned, so that repetitive generations are more likely to happen. Based on this hypothesis, we propose token loss dynamic reweighting (TLDR) that applies differentiable weights to individual token losses. By using higher weights for hard tokens and lower weights for easy tokens, NLG models are able to learn individual tokens at different paces. Experiments on chit-chat benchmark datasets show that TLDR is more effective in repetition reduction for both RNN and transformer architectures than baselines using different weighting functions.

研究动机与目标

• 为解决神经文本生成模型中持续存在的重复话语生成问题，特别是在开放域对话任务中。
• 探究模型架构修改（如RNN中的预注意力和高速公路连接）是否能减少重复。
• 检验训练数据中难以学习的令牌是否导致重复，并通过实证方法验证该假设。
• 开发一种更有效的、与架构无关的损失重加权方法，使其在训练过程中根据令牌难度自适应调整。
• 通过根据令牌学习难度动态调整梯度更新，提升生成质量。

提出的方法

• 提出TLDR，一种可微分的损失重加权机制，为训练损失更高的令牌分配更高权重，表明其更难学习。
• 采用基于余弦的加权函数，对交叉熵损失更高的令牌增加损失权重，实现在训练过程中按令牌动态调整重要性。
• 在反向传播过程中应用该方法，以增强难样本令牌的梯度并抑制易样本令牌的梯度，促进学习平衡。
• 采用受Focal Loss启发的动态重加权策略，但将其适配为基于令牌而非样本级别的难度。
• 在基于RNN和Transformer的编码器-解码器模型上，使用对话基准数据集验证该方法。
• 引入一种新颖的训练目标，结合标准交叉熵损失与动态、令牌特定的加权，以提升泛化能力并减少重复。

实验结果

研究问题

• RQ1 RNN中的架构改进（如预注意力和高速公路连接）是否能减少对话模型中的重复生成？
• RQ2 重复问题是否由训练数据中难以学习的令牌引起？能否通过实证方法验证？
• RQ3 基于训练难度的动态、令牌级别的损失重加权是否优于静态或样本级别的重加权方法？
• RQ4 所提出的TLDR方法是否能在不同架构（如RNN与Transformer）间泛化？
• RQ5 TLDR是否能同时改善重复率降低与BLEU、l-DIMEN等生成质量指标？

主要发现

• 采用预注意力和高速公路连接的RNN比标准的后注意力RNN更有效地减少重复，但该改进无法推广到Transformer模型。
• 使用Focal Loss的实证验证表明，难样本令牌学习不足，是导致重复生成的原因。
• TLDR在RNN和Transformer模型上均一致地降低了重复率，优于包括TFL和均匀加权在内的基线方法。
• 在Movie Dialogs数据集上，如图4所示的验证曲线所示，TLDR比基线更早实现重复率降低。
• 尽管LDR在较小数据集上效果有限或为负，但TLDR在所有数据集和架构上均保持一致的性能提升。
• TLDR的动态梯度调制比简单的均匀损失缩放（如w=2）更有效，因为它选择性地增强来自难样本的梯度，而不会统一提高学习率。