[论文解读] Quantifying Exposure Bias for Neural Language Generation

Tianxing He, Jingzhao Zhang+2 more|arXiv (Cornell University)|Sep 25, 2019

Topic Modeling参考文献 49被引用 24

一句话总结

本文提出 EB-bleu 和 EB-C 指标以量化神经语言生成中的曝光偏差，评估其在 LSTM 和 Transformer 模型上的自回归语言模型与序列到序列翻译任务中的实际影响。令人惊讶的是，研究发现通过曝光偏差缓解来消除训练-生成差异仅带来微小的性能提升，表明模型与数据分布之间的不匹配处于一个‘舒适区’，在此区域内性能损失可忽略不计。

ABSTRACT

The exposure bias problem refers to the training-generation discrepancy, caused by teacher forcing, in maximum likelihood estimation (MLE) training for auto-regressive neural network language models (LM). It has been regarded as a central problem for neural language generation (NLG) model training. Although a lot of algorithms have been proposed to avoid teacher forcing and therefore` to alleviate exposure bias, there is little work showing how serious the exposure bias problem actually is. In this work, we first identify the self-recovery ability of MLE-trained LM, which casts doubt on the seriousness of exposure bias. We then propose sequence-level (EB-bleu) and word-level (EB-C) metrics as reasonable proxies to quantify the impact of exposure bias. We conduct experiments for the LSTM/transformer model, in both real and synthetic settings. In addition to the unconditional NLG task, we also include results for a seq2seq machine translation task. Surprisingly, all our measurements suggest that removing the training-generation discrepancy only brings very little performance gain. In our analysis, we hypothesise that although there exist a mismatch between the model distribution and the data distribution, the mismatch is still in the model's comfortable zone, and is not big enough to induce significant performance loss.

研究动机与目标

• 探究最大似然训练的神经语言模型中曝光偏差的实际严重程度。
• 开发可靠、适用于序列级与词级的指标，以量化曝光偏差的影响。
• 评估消除训练-生成差异是否能显著提升模型性能。
• 分析教师强制导致的分布不匹配是否大到足以引起显著的性能下降。
• 评估最大似然训练模型在不同架构与任务下对曝光偏差的鲁棒性。

提出的方法

• 提出 EB-bleu，一种基于在受控曝光条件下计算的 BLEU 分数的序列级指标，用于估计曝光偏差的影响。
• 引入 EB-C，一种词级指标，通过评估标记级预测的可靠性来衡量模型对曝光偏差的敏感性。
• 使用标准教师强制最大似然估计（MLE）训练 LSTM 和 Transformer 模型，涵盖无条件语言建模与序列到序列翻译任务。
• 在真实与合成数据设置下进行实验，以隔离曝光偏差效应与其他训练因素的影响。
• 采用自恢复分析，评估模型在推理过程中是否能从曝光偏差引发的错误中恢复。
• 比较标准 MLE 训练与曝光偏差消除技术下的模型性能，以衡量边际提升。

实验结果

研究问题

• RQ1 在最大似然训练的神经语言模型中，曝光偏差在实际中有多严重？
• RQ2 曝光偏差缓解技术在语言生成任务中能在多大程度上提升模型性能？
• RQ3 教师强制导致的分布不匹配是否显著降低模型生成质量？
• RQ4 由曝光偏差导致的性能损失是否大到足以证明复杂缓解策略的合理性？
• RQ5 所提出的 EB-bleu 与 EB-C 指标在捕捉不同模型架构下曝光偏差效应方面表现如何？

主要发现

• 所提出的 EB-bleu 与 EB-C 指标在真实与合成语言生成任务中均能有效量化曝光偏差的影响。
• 消除训练-生成差异带来的性能提升微乎其微，表明曝光偏差的实际严重性低于普遍假设。
• 使用 MLE 训练的模型展现出强大的自恢复能力，表明分布不匹配处于一个‘舒适区’，在此区域内性能下降有限。
• 即使在设计用于放大曝光偏差的合成设置中，缓解带来的性能提升依然很小。
• 该结果在 LSTM 与 Transformer 架构之间均成立，且适用于无条件生成与序列到序列翻译任务。
• 本研究挑战了当前普遍认为曝光偏差是神经语言生成中主要性能瓶颈的假设。