[论文解读] Mutual Information Based Knowledge Transfer Under State-Action Dimension Mismatch

Michael Wan, Tanmay Gangwani+1 more|arXiv (Cornell University)|Jun 12, 2020

Reinforcement Learning in Robotics参考文献 27被引用 5

一句话总结

本文提出基于互信息的知识蒸馏（MIKT），一种在教师智能体与学生智能体状态空间和动作空间不匹配时，仍可实现从教师策略到学生策略知识迁移的方法。通过学习任务对齐的嵌入并结合策略梯度与互信息损失进行优化，MIKT在复杂运动控制任务中实现了高效的知识迁移，显著优于VPG和MLPP等基线方法，在样本效率和最终性能方面表现更优。

ABSTRACT

Deep reinforcement learning (RL) algorithms have achieved great success on a wide variety of sequential decision-making tasks. However, many of these algorithms suffer from high sample complexity when learning from scratch using environmental rewards, due to issues such as credit-assignment and high-variance gradients, among others. Transfer learning, in which knowledge gained on a source task is applied to more efficiently learn a different but related target task, is a promising approach to improve the sample complexity in RL. Prior work has considered using pre-trained teacher policies to enhance the learning of the student policy, albeit with the constraint that the teacher and the student MDPs share the state-space or the action-space. In this paper, we propose a new framework for transfer learning where the teacher and the student can have arbitrarily different state- and action-spaces. To handle this mismatch, we produce embeddings which can systematically extract knowledge from the teacher policy and value networks, and blend it into the student networks. To train the embeddings, we use a task-aligned loss and show that the representations could be enriched further by adding a mutual information loss. Using a set of challenging simulated robotic locomotion tasks involving many-legged centipedes, we demonstrate successful transfer learning in situations when the teacher and student have different state- and action-spaces.

研究动机与目标

• 解决在教师与学生智能体具有不同状态空间和动作空间时，深度强化学习中知识迁移的挑战。
• 在多足机器人运动等复杂高维控制任务中实现有效的迁移学习。
• 克服先前方法的局限性，这些方法通常需要共享状态空间或动作空间，尤其是依赖KL散度或固定层横向连接的方法。
• 设计一种框架，即使在结构不匹配的情况下，也能从教师网络中提取并传输有意义的表征到学生网络。
• 通过实证验证，互信息正则化可提升表征质量与迁移性能。

提出的方法

• 通过神经网络编码器学习共享嵌入空间，将教师与学生的表征映射到同一空间。
• 使用联合损失函数训练编码器：包含基于PPO的策略梯度损失与互信息损失，以对齐与任务相关的表征。
• 在最终策略头中使用学生与教师表征的加权线性组合，权重在训练过程中动态学习。
• 应用互信息损失，以促使编码器保留来自教师策略与价值网络的任务相关信息。
• 避免在教师与学生层之间使用可学习的变换矩阵，直接使用嵌入后的表征。
• 通过来自强化学习策略目标与互信息目标的梯度联合优化编码器，以提升表征质量。

实验结果

研究问题

• RQ1 当教师与学生智能体的状态空间与动作空间不匹配时，能否有效实现从教师策略到学生策略的知识迁移？
• RQ2 将互信息作为训练目标是否能提升强化学习中转移表征的质量？
• RQ3 在结构相似但状态/动作维度不同的任务中，MIKT的性能与标准强化学习及先前知识蒸馏基线相比如何？
• RQ4 迁移学习的有效性在多大程度上依赖于教师与学生任务之间的相似性？
• RQ5 当教师与学生任务差异较大时，教师与学生表征的贡献如何随训练过程演变？

主要发现

• 在所有测试的运动控制任务中，MIKT在早期训练的样本效率和最终的回合回报方面均显著优于VPG和MLPP基线方法。
• 同时包含PPO与互信息损失的MIKT模型，其最终性能更高且学习曲线更陡峭，优于缺少任一损失组件的变体。
• 消融实验表明，若移除互信息损失，早期训练性能显著下降，表明其在表征学习中起着关键作用。
• 当使用差异较大的教师网络（如Hopper）时，模型迅速学会依赖自身表征，表现为学生表征权重急剧上升，证实对于差异较大的任务，知识迁移效果较弱。
• 任务对齐嵌入的使用使得即使在教师与学生具有不同状态维度（139D vs. 97D）和动作维度（16D vs. 10D）时，仍能实现成功迁移，验证了该框架的鲁棒性。
• 在千足虫运动控制任务上的实证结果表明，任务间结构相似性可实现有效的知识迁移，即使在腿数不同的情况下亦成立。