[论文解读] Representations for Stable Off-Policy Reinforcement Learning

Dibya Ghosh, Marc G. Bellemare|arXiv (Cornell University)|Jul 10, 2020

Reinforcement Learning in Robotics被引用 8

一句话总结

本文提出，特定的状态表征——尤其是舒尔分解（Schur decomposition）和正交Krylov基——通过尊重转移矩阵的几何结构，可确保在离策略时序差分学习中的稳定性。研究显示，这些表征可通过预测未来特征或奖励等辅助任务的随机梯度下降（SGD）进行学习，从而在不损失近似质量的前提下提供形式化的稳定性保证。

ABSTRACT

Reinforcement learning with function approximation can be unstable and even divergent, especially when combined with off-policy learning and Bellman updates. In deep reinforcement learning, these issues have been dealt with empirically by adapting and regularizing the representation, in particular with auxiliary tasks. This suggests that representation learning may provide a means to guarantee stability. In this paper, we formally show that there are indeed nontrivial state representations under which the canonical TD algorithm is stable, even when learning off-policy. We analyze representation learning schemes that are based on the transition matrix of a policy, such as proto-value functions, along three axes: approximation error, stability, and ease of estimation. In the most general case, we show that a Schur basis provides convergence guarantees, but is difficult to estimate from samples. For a fixed reward function, we find that an orthogonal basis of the corresponding Krylov subspace is an even better choice. We conclude by empirically demonstrating that these stable representations can be learned using stochastic gradient descent, opening the door to improved techniques for representation learning with deep networks.

研究动机与目标

• 为解决函数逼近下离策略TD学习的不稳定性，尤其是深度强化学习中的问题。
• 正式刻画在离策略设置下确保TD(0)收敛的状态表征。
• 通过转移动态的矩阵几何结构，将表征学习与价值函数算法的稳定性联系起来。
• 证明诸如未来特征或奖励预测等辅助任务可产生形式上稳定的表征。
• 表明此类稳定表征可通过深度神经网络中的随机梯度下降（SGD）进行学习。

提出的方法

• 通过价值函数更新的期望动态分析TD(0)的稳定性，重点关注表征的几何结构。
• 识别出转移矩阵的舒尔分解是稳定性来源，即使在离策略数据下也成立。
• 提出正交Krylov基作为在奖励函数已知时的稳定替代方案。
• 证明预测下一步特征值可获得基于舒尔的表征，而预测未来奖励则可获得基于Krylov的表征。
• 使用带有辅助目标的随机梯度下降在神经网络中学习这些表征。
• 采用正交性约束或惩罚项，确保特征间不相关，从而保持稳定性保证。

实验结果

研究问题

• RQ1 哪些状态表征可保证在函数逼近下离策略学习中TD(0)的收敛性？
• RQ2 转移矩阵的几何结构如何影响价值函数学习的稳定性？
• RQ3 辅助表征学习任务能否在离策略强化学习中产生形式上稳定的表征？
• RQ4 在多大程度上可使用深度神经网络从数据中学习稳定表征？
• RQ5 在离策略强化学习的表征学习中，稳定性、近似误差与可学习性之间存在何种权衡？

主要发现

• 即使在一般情况下，转移矩阵的舒尔分解也能为离策略学习中的TD(0)提供形式化的收敛保证。
• 基于奖励函数导出的正交Krylov基，相较于原型值函数，提供了更稳定且更优的近似替代方案。
• 由于非对称矩阵对扰动敏感，估计舒尔表征比其他分解更具挑战性。
• 在实践中，Krylov基在近似误差和可学习性方面优于舒尔分解，尽管其需要事先知道奖励函数。
• 预测未来特征值（舒尔）或未来奖励（Krylov）作为辅助任务，可有效实现稳定表征学习，且可通过SGD实现。
• 神经网络可通过优化这些预测性辅助目标成功学习稳定表征，证实了该方法在实际中的可行性。