[论文解读] Transfer with Model Features in Reinforcement Learning

Lucas Lehnert, Michael L. Littman|arXiv (Cornell University)|Jul 4, 2018

Reinforcement Learning in Robotics参考文献 11被引用 4

一句话总结

本文提出了模型特征（Model Features），一种通过聚类行为等价状态来实现强化学习中跨任务高效迁移的表征方法，适用于转移函数和奖励函数不同的任务。通过提出一种新颖的优化目标并证明其收敛于模型压缩，该方法即使在动态差异较大的情况下，也能实现准确的价值函数逼近与迁移性能。

ABSTRACT

A key question in Reinforcement Learning is which representation an agent can learn to efficiently reuse knowledge between different tasks. Recently the Successor Representation was shown to have empirical benefits for transferring knowledge between tasks with shared transition dynamics. This paper presents Model Features: a feature representation that clusters behaviourally equivalent states and that is equivalent to a Model-Reduction. Further, we present a Successor Feature model which shows that learning Successor Features is equivalent to learning a Model-Reduction. A novel optimization objective is developed and we provide bounds showing that minimizing this objective results in an increasingly improved approximation of a Model-Reduction. Further, we provide transfer experiments on randomly generated MDPs which vary in their transition and reward functions but approximately preserve behavioural equivalence between states. These results demonstrate that Model Features are suitable for transfer between tasks with varying transition and reward functions.

研究动机与目标

• 解决在转移动态和奖励函数不同的强化学习任务之间高效迁移知识的挑战。
• 开发一种将行为等价状态聚类的特征表征，以保留预测奖励所需的关键动态信息。
• 形式化一个优化目标，使其收敛于模型压缩，确保预测能力损失最小化。
• 证明即使仅奖励函数发生变化，模型特征仍能实现有效迁移，突破以往依赖共享动态的方法限制。
• 提供理论边界，表明最小化所提目标可导致对模型压缩的越来越精确的逼近。

提出的方法

• 提出模型特征作为特征表征，为行为等价状态分配相同的向量，从而实现模型压缩。
• 引入一种新颖的优化目标，用于学习最小化原始与压缩转移动态之间差异的特征。
• 推导理论边界，表明最小化该目标可获得对模型压缩的更好逼近，且误差随目标最小化而减小。
• 将成功者特征架构（Successor Features）适配用于学习模型特征，支持端到端的深度神经网络训练。
• 利用成功者特征框架证明，学习模型特征等价于学习一个模型压缩的MDP。
• 采用矩阵范数与谱界分析逼近误差，证明价值函数误差受奖励与转移逼近误差的约束。

实验结果

研究问题

• RQ1 能否学习到一种特征表征，将行为等价状态聚类，并在转移与奖励函数不同的任务间实现迁移？
• RQ2 最小化所提优化目标是否能导致对MDP中模型压缩的更好逼近？
• RQ3 在动态变化的迁移学习场景中，模型特征与现有方法（如成功者特征）相比性能如何？
• RQ4 在模型压缩下，模型特征求解价值函数的预测准确性能保留到何种程度？
• RQ5 是否存在理论保证，表明随着优化目标的最小化，学习到的特征会收敛至有效的模型压缩？

主要发现

• 模型特征成功聚类行为等价状态，如在30×3的网格世界中，列被压缩为单一状态，且未损失预测能力。
• 所提优化目标确保最小化时可获得对模型压缩的越来越精确逼近，且具有误差传播的理论边界。
• 该方法实现了有界的值函数逼近误差，且误差上界随奖励与转移逼近误差的减小而降低。
• 在随机生成的MDP上进行的迁移实验表明，即使转移函数在任务间不同，模型特征仍能实现有效的知识迁移。
• 理论分析证明，值函数逼近误差受奖励逼近误差与转移逼近误差的约束，且受折扣因子缩放。
• 在动态不同的迁移场景中，模型特征优于标准成功者特征，因其不依赖共享转移函数。