[论文解读] Sequence Generation with Guider Network

Ruiyi Zhang, Changyou Chen+6 more|arXiv (Cornell University)|Nov 2, 2018

Multimodal Machine Learning Applications参考文献 31被引用 5

一句话总结

本文提出了一种基于模型的强化学习框架，用于序列生成，通过引导网络提供中间奖励和全局结构引导，提升了文本生成的质量与多样性。通过学习将生成序列的特征表示与训练数据中的特征表示相匹配，该方法在无条件和条件生成任务上均取得了最先进性能，自BLEU得分更低，测试BLEU得分更高。

ABSTRACT

Sequence generation with reinforcement learning (RL) has received significant attention recently. However, a challenge with such methods is the sparse-reward problem in the RL training process, in which a scalar guiding signal is often only available after an entire sequence has been generated. This type of sparse reward tends to ignore the global structural information of a sequence, causing generation of sequences that are semantically inconsistent. In this paper, we present a model-based RL approach to overcome this issue. Specifically, we propose a novel guider network to model the sequence-generation environment, which can assist next-word prediction and provide intermediate rewards for generator optimization. Extensive experiments show that the proposed method leads to improved performance for both unconditional and conditional sequence-generation tasks.

研究动机与目标

• 为解决基于强化学习的序列生成中的稀疏奖励问题，即仅在完整序列生成后才获得最终标量奖励。
• 通过引入反映全局结构信息的中间奖励，提升样本多样性与语义一致性。
• 通过学习环境模型，提升训练效率并降低策略优化中的方差。
• 在无条件和条件序列生成任务（包括文本生成和图像字幕）中实现更优性能。
• 通过一种新型自注意力增强的引导网络，提供前瞻规划机制，指导下一个词的预测。

提出的方法

• 训练引导网络，以在标记的特征空间中编码来自训练序列的全局结构信息。
• 引导网络通过将其预测特征与生成序列的特征进行匹配，发出中间奖励，从而在生成过程中提供密集监督。
• 在引导网络中集成一种新型自注意力机制，以实现高层级的前瞻规划信息，提升序列层面的一致性。
• 将中间奖励与最终标量奖励（如GAN判别器损失或评估得分）结合，通过策略梯度方法优化生成器。
• 在基于模型的强化学习设置中应用该框架，结合无模型策略学习与环境建模的优势，提升样本效率。
• 使用策略梯度方法训练生成器，奖励由引导网络的中间指导与最终任务特定奖励共同构成。

实验结果

研究问题

• RQ1 学习到的环境模型能否提供中间奖励，从而提升序列生成中的训练稳定性与样本质量？
• RQ2 通过引导网络引入全局结构信息，是否能生成更具多样性与语义一致性的序列？
• RQ3 在BLEU与自BLEU得分方面，该方法与现有无模型强化学习及GAN方法相比表现如何？
• RQ4 引导网络的前瞻规划能力是否能增强文本生成中的长期序列一致性？
• RQ5 中间奖励的引入在多大程度上降低了策略优化中的方差，并提升了样本效率？

主要发现

• 所提出的GMGAN方法在COCO图像字幕数据集上的测试BLEU得分高于所有基线方法，包括最先进方法LeakGAN。
• 与LeakGAN相比，GMGAN的自BLEU得分显著更低，表明其生成结果更具多样性且模式崩溃现象更少。
• 在COCO数据集上，GMGAN在质量（测试BLEU）与多样性（自BLEU）两方面均优于其他方法，展现出更优的生成平衡性。
• 消融实验确认，引导网络与自注意力机制均对性能提升有显著贡献。
• 该方法在无条件与条件序列生成任务中均提升了样本质量与多样性，表现出强鲁棒性与泛化能力。
• 与标准无模型强化学习相比，使用引导网络提供的中间奖励可降低训练方差，并增强策略优化效果。