[论文解读] Tuning Recurrent Neural Networks with Reinforcement Learning

Natasha Jaques, Shixiang Gu+2 more|arXiv (Cornell University)|Nov 9, 2016

Music and Audio Processing被引用 45

一句话总结

本文提出一种混合训练方法，结合监督学习与强化学习（RL），利用预训练的RNN改进序列生成中的长期连贯性。通过使用预训练的LSTM进行下一步音符预测，并利用基于音乐理论的奖励通过RL进行微调，该方法减少了失败模式，生成了更具音乐连贯性的旋律，同时保留了数据学习到的模式。

ABSTRACT

The approach of training sequence models using supervised learning and next-step prediction suffers from known failure modes. For example, it is notoriously difficult to ensure multi-step generated sequences have coherent global structure. We propose a novel sequence-learning approach in which we use a pre-trained Recurrent Neural Network (RNN) to supply part of the reward value in a Reinforcement Learning (RL) model. Thus, we can refine a sequence predictor by optimizing for some imposed reward functions, while maintaining good predictive properties learned from data. We propose efficient ways to solve this by augmenting deep Q-learning with a cross-entropy reward and deriving novel off-policy methods for RNNs from KL control. We explore the usefulness of our approach in the context of music generation. An LSTM is trained on a large corpus of songs to predict the next note in a musical sequence. This Note RNN is then refined using our method and rules of music theory. We show that by combining maximum likelihood (ML) and RL in this way, we can not only produce more pleasing melodies, but significantly reduce unwanted behaviors and failure modes of the RNN, while maintaining information learned from data.

研究动机与目标

• 解决RNN在仅通过下一步预测进行训练时生成长期连贯序列的局限性。
• 在保持从大规模数据中学到的预测准确性的同时，提升生成序列的全局结构。
• 通过强化学习将领域特定知识（如音乐理论规则）整合到序列建模中。
• 为支持离策略训练和KL控制的RNN开发高效的强化学习方法。
• 在音乐生成中评估该方法，其中连贯性和结构质量至关重要。

提出的方法

• 使用预训练的LSTM作为策略网络，基于大规模歌曲语料的极大似然（ML）训练，预测音乐序列中的下一个音符。
• 应用强化学习通过基于音乐理论规则的奖励函数优化RNN策略。
• 奖励函数包含交叉熵成分，以与预训练模型的预测行为对齐，从而保留数据学习到的模式。
• 从KL控制原理推导出新型离策略RL方法，以提高RNN中的样本效率和训练稳定性。
• 该方法支持似然与奖励的联合优化，平衡数据保真度与结构质量。
• 通过修改以处理序列决策和RNN动态，使用深度Q-learning实现该方法。

实验结果

研究问题

• RQ1 将极大似然预训练与强化学习结合，能否提升RNN生成序列的长期连贯性？
• RQ2 如何有效将领域特定知识（如音乐理论）整合到序列建模中以指导生成？
• RQ3 在RL微调中，将预训练RNN作为奖励组成部分会产生何种影响？
• RQ4 离策略RL方法能否有效适配RNN，以提升训练效率和稳定性？
• RQ5 该混合ML-RL方法在保留数据学习表征的同时，能在多大程度上减少序列生成中的失败模式？

主要发现

• 与标准的下一步预测相比，混合ML-RL方法显著提升了生成旋律的音乐质量和连贯性。
• 通过奖励函数设计施加结构约束，该方法减少了RNN中常见的失败模式，如重复或不连贯的音符模式。
• 通过交叉熵奖励保留预训练RNN的预测行为，模型保持了强大的数据拟合能力。
• 使用离策略RL方法实现了稳定且高效的训练，即使在序列数据和复杂的RNN动态下亦如此。
• 将音乐理论规则整合到奖励函数中，生成的序列在和声与节奏上更具合理性。
• 该方法在数据保真度与结构质量之间取得平衡，在定性和定量评估中均优于纯ML和纯RL基线。