[论文解读] Toward Diverse Text Generation with Inverse Reinforcement Learning

Zhan Shi, Xinchi Chen+2 more|arXiv (Cornell University)|Apr 30, 2018

Topic Modeling参考文献 17被引用 27

一句话总结

本文提出了一种用于文本生成的逆强化学习（IRL）框架，以解决对抗性文本生成模型中的奖励稀疏性和模式崩溃问题。通过学习一个密集的、基于状态的奖励函数，并结合带熵正则化的策略优化，该方法生成的文本在多样性和质量上均优于先前方法，在 COCO 和 IMDB 数据集上达到了最先进性能。

ABSTRACT

Text generation is a crucial task in NLP. Recently, several adversarial generative models have been proposed to improve the exposure bias problem in text generation. Though these models gain great success, they still suffer from the problems of reward sparsity and mode collapse. In order to address these two problems, in this paper, we employ inverse reinforcement learning (IRL) for text generation. Specifically, the IRL framework learns a reward function on training data, and then an optimal policy to maximum the expected total reward. Similar to the adversarial models, the reward and policy function in IRL are optimized alternately. Our method has two advantages: (1) the reward function can produce more dense reward signals. (2) the generation policy, trained by "entropy regularized" policy gradient, encourages to generate more diversified texts. Experiment results demonstrate that our proposed method can generate higher quality texts than the previous methods.

研究动机与目标

• 解决对抗性文本生成模型中的奖励稀疏性和模式崩溃问题。
• 通过从专家示范中学习密集奖励函数，提升文本生成质量。
• 通过熵正则化的策略优化，促进生成文本的多样性。
• 基于 BLEU 开发新的评估指标，以更准确评估生成文本质量。
• 为文本生成提供一种新型 IRL 视角，与标准 GAN 方法形成鲜明对比。

提出的方法

• 将文本生成建模为逆强化学习（IRL）问题，其中专家示范即为训练序列。
• 利用奖励近似器学习一个奖励函数，为真实训练序列分配更高奖励，为生成序列分配较低奖励。
• 采用带熵正则化的策略梯度方法优化生成器，以促进探索和多样性。
• 采用交替训练策略，同时优化奖励函数与生成器，类似于 GAN，但使用密集的每步奖励。
• 采用最大熵 IRL 框架，确保学习稳定并提升泛化能力。
• 提出三种基于 BLEU 的新评估指标——BLEUF、BLEUB 和 BLEUHA，分别用于评估流畅性、相关性和覆盖度。

实验结果

研究问题

• RQ1 逆强化学习能否有效缓解文本生成中的奖励稀疏性问题？
• RQ2 与对抗模型相比，基于 IRL 的文本生成能否减少模式崩溃并提升多样性？
• RQ3 该方法在长文本生成任务（如电影评论）中的表现如何？
• RQ4 所提出的基于 BLEU 的指标能否比标准指标更准确捕捉生成文本的质量？
• RQ5 在人工评估中，IRL 框架是否优于现有的 GAN 基方法？

主要发现

• 在 COCO 图像字幕数据集上，IRL 模型的 BLEU 得分为 0.550，优于 MLE（0.205）、SeqGAN（0.450）和 LeakGAN（0.543）。
• 在 IMDB 电影评论数据集上，IRL 模型的 BLEU 得分为 0.463，显著优于 MLE（0.138）、SeqGAN（0.205）和 LeakGAN（0.385）。
• 在人工图灵测试中，IRL 生成的文本被评价为比 MLE、SeqGAN 和 LeakGAN 更具真实性，尤其在长序列上表现更优。
• 案例研究显示，IRL 生成的句子更具流畅性、连贯性与多样性，语义一致性更强，内容更丰富。
• 所提出的指标 BLEUF、BLEUB 和 BLEUHA 与人工判断具有强相关性，能更细致地评估文本质量。
• 该方法通过学习每步奖励，有效缓解了模式崩溃，并提供了更密集的奖励信号，从而实现更稳定高效的训练。