[论文解读] Sequence Tutor: Conservative Fine-Tuning of Sequence Generation Models with KL-control

Natasha Jaques, Shixiang Gu+4 more|arXiv (Cornell University)|Nov 9, 2016

Music and Audio Processing参考文献 25被引用 24

一句话总结

本文提出 Sequence Tutor，一种强化学习框架，通过 KL 控制保守优化任务特定奖励，同时保留来自预训练最大似然估计（MLE）模型的知识，对序列生成模型进行微调。该方法在音乐和分子生成中显著提升了序列质量和多样性，大幅提高了有效分子的产量，并增强了结构一致性，同时不牺牲数据分布的保真度。

ABSTRACT

This paper proposes a general method for improving the structure and quality of sequences generated by a recurrent neural network (RNN), while maintaining information originally learned from data, as well as sample diversity. An RNN is first pre-trained on data using maximum likelihood estimation (MLE), and the probability distribution over the next token in the sequence learned by this model is treated as a prior policy. Another RNN is then trained using reinforcement learning (RL) to generate higher-quality outputs that account for domain-specific incentives while retaining proximity to the prior policy of the MLE RNN. To formalize this objective, we derive novel off-policy RL methods for RNNs from KL-control. The effectiveness of the approach is demonstrated on two applications; 1) generating novel musical melodies, and 2) computational molecular generation. For both problems, we show that the proposed method improves the desired properties and structure of the generated sequences, while maintaining information learned from data.

研究动机与目标

• 解决 MLE 训练的 RNN 在生成具有较差全局结构的连贯、多样化序列时的失败模式。
• 结合 MLE（数据分布保真度）和强化学习（任务特定奖励优化）的优势，而不依赖于不完美的奖励函数。
• 保持样本多样性，防止序列生成过程中的模式崩溃或重复输出。
• 形式化一种保守微调方法，通过 KL 控制惩罚与预训练 MLE 策略的偏离。
• 在两个具有挑战性的序列生成任务（音乐和分子生成）上实证验证该方法。

提出的方法

• 使用最大似然估计（MLE）预训练 RNN，以学习下一个词元分布的先验策略。
• 将 MLE RNN 的输出分布用作强化学习中 KL 控制的固定先验策略。
• 基于 KL 控制，推导适用于 RNN 的新型离策略强化学习算法，将 KL 散度作为正则化项以约束策略更新。
• 将目标公式化为广义 Ψ 学习框架，统一 G 学习、带对数先验增强的 Q 学习以及 KL 控制。
• 通过 KL 最小化实现熵正则化，以促进多样化、非重复的样本生成。
• 使用优先经验回放和 ϵ-greedy 探索策略，提升样本效率，尤其在分子生成中稀有有效序列的生成方面。

实验结果

研究问题

• RQ1 使用 KL 控制的强化学习微调能否提升 MLE 训练的 RNN 生成序列的结构一致性和质量？
• RQ2 KL 控制在多大程度上能保留 MLE 学习到的数据分布，同时实现对任务特定奖励的优化？
• RQ3 与标准强化学习或仅 MLE 训练相比，该方法在序列多样性与有效性方面表现如何？
• RQ4 该方法能否有效减少序列生成中的失败模式，如词元重复和结构不连贯？
• RQ5 通过奖励塑造整合领域特定规则（如音乐理论、分子价键）是否能与保守策略更新结合，生成更高质量的输出？

主要发现

• Sequence Tutor 将有效分子的比例从 MLE 基线的 30.3% 提升至 35.8%，显著提高了结构有效性。
• 平均 logP 从 2.07 提升至 4.21，表明疏水性得到改善，这是药物相似性的重要属性。
• 平均合成可及性（SA）惩罚从 -2.77 改善至 -1.79，表明生成的分子更易于合成。
• 在音乐生成中，Sequence Tutor 生成的旋律在主观评价中显著优于 MLE 生成的序列，具有更优的和声结构并减少了随机性。
• 即使奖励函数不完整或不完美，该模型仍能有效减少重复词元序列和主题漂移等不良行为。
• 尽管由于分子结构更简单导致 QED 得分较低，Sequence Tutor 在有效性、logP 和合成可及性方面得分更高，证明其在生成类药物分子方面的有效性。