[论文解读] Text Generation by Learning from Off-Policy Demonstrations.

Richard Yuanzhe Pang, He He|arXiv (Cornell University)|Sep 16, 2020

Topic Modeling参考文献 36被引用 7

一句话总结

本文提出GOLD，一种用于文本生成的强化学习框架，通过利用离策略示范来缓解暴露偏差并提升生成质量。通过使用重要性加权方法从非交错的专家轨迹中学习，GOLD在摘要生成、问题生成和机器翻译任务中均取得了最先进性能，且对解码策略更具鲁棒性，并能生成更长序列。

ABSTRACT

Current approaches to text generation largely rely on autoregressive models and maximum likelihood estimation. This paradigm leads to (i) diverse but low-quality samples due to mismatched learning objective and evaluation metric (likelihood vs. quality) and (ii) exposure bias due to mismatched history distributions (gold vs. model-generated). To alleviate these problems, we frame text generation as a reinforcement learning (RL) problem with expert demonstrations (i.e., the training data), where the goal is to maximize quality given model-generated histories. Prior RL approaches to generation often face optimization issues due to the large action space and sparse reward. We propose GOLD (generation by off-policy learning from demonstrations): an algorithm that learns from the off-policy demonstrations by importance weighting and does not suffer from degenerative solutions. We find that GOLD outperforms the baselines according to automatic and human evaluation on summarization, question generation, and machine translation, including attaining state-of-the-art results for CNN/DailyMail summarization. Further, we show that models trained by GOLD are less sensitive to decoding algorithms and the generation quality does not degrade much as the length increases.

研究动机与目标

• 解决自回归文本生成中训练目标（最大似然）与评估指标（质量）之间的不匹配问题。
• 缓解训练期间黄金轨迹与模型生成历史之间分布偏移所导致的暴露偏差。
• 开发一种强化学习方法，能有效从离策略专家示范中学习，且避免退化解。
• 在多种文本生成任务（包括摘要生成和机器翻译）中提升生成质量与鲁棒性。

提出的方法

• 将文本生成建模为强化学习问题，使用专家示范作为轨迹。
• 应用重要性加权以校正从离策略示范学习时的分布偏移。
• 使用评论网络估计状态值函数，以指导策略优化。
• 通过重要性加权回报的策略梯度方法训练策略网络，以稳定学习过程。
• 采用与人类对文本质量评估对齐的奖励模型，而非基于似然。
• 通过避免标准强化学习方法中常见的退化行为，确保训练稳定性。

实验结果

研究问题

• RQ1 能否有效利用离策略示范，使文本生成质量超越最大似然预训练？
• RQ2 当专家数据未与模型生成序列交错时，重要性加权如何改善策略学习？
• RQ3 所提出方法是否降低对解码策略的敏感性，并在长序列上保持高质量？
• RQ4 该框架能否在CNN/DailyMail摘要生成等标准文本生成基准上达到最先进性能？
• RQ5 在自动评估与人类评估中，该方法与自回归基线相比表现如何？

主要发现

• GOLD在CNN/DailyMail摘要生成基准上达到最先进性能，在自动评估与人类评估中均优于先前方法。
• 随着序列长度增加，模型仍能保持高质量生成，相比基线表现出更少的性能退化。
• GOLD训练的模型对解码超参数不敏感，表明其生成过程更稳定可靠。
• 人类评估确认，GOLD生成的文本在流畅性、连贯性和相关性方面优于基线模型。
• 该方法有效缓解了暴露偏差，并改善了训练目标与下游质量指标之间的对齐。
• 重要性加权使从离策略示范中稳定学习成为可能，避免了标准强化学习中常见的退化行为。