[论文解读] Temporal Difference Learning with Neural Networks - Study of the Leakage Propagation Problem

Hugo Penedones, Damien Vincent+4 more|arXiv (Cornell University)|Jul 9, 2018

Reinforcement Learning in Robotics参考文献 22被引用 5

一句话总结

本文研究了在神经网络函数逼近下时序差分（TD）学习中的泄漏传播问题，其中在价值函数突变不连续处的近似误差会传播并降低性能。研究通过理论分析与实证结果表明，由于bootstrapping驱动的误差扩散，TD学习可能收敛到比蒙特卡罗回归更差的解；为此提出通过无监督后续特征学习来提升表示质量，从而在无奖励的情况下缓解该问题。

ABSTRACT

Temporal-Difference learning (TD) [Sutton, 1988] with function approximation can converge to solutions that are worse than those obtained by Monte-Carlo regression, even in the simple case of on-policy evaluation. To increase our understanding of the problem, we investigate the issue of approximation errors in areas of sharp discontinuities of the value function being further propagated by bootstrap updates. We show empirical evidence of this leakage propagation, and show analytically that it must occur, in a simple Markov chain, when function approximation errors are present. For reversible policies, the result can be interpreted as the tension between two terms of the loss function that TD minimises, as recently described by [Ollivier, 2018]. We show that the upper bounds from [Tsitsiklis and Van Roy, 1997] hold, but they do not imply that leakage propagation occurs and under what conditions. Finally, we test whether the problem could be mitigated with a better state representation, and whether it can be learned in an unsupervised manner, without rewards or privileged information.

研究动机与目标

• 理解为何在策略评估中，使用函数逼近的TD学习有时会得到比蒙特卡罗回归更差的解。
• 探究在价值函数出现尖锐不连续处附近，由于近似不佳而引发的误差传播机制（称为“泄漏传播”）。
• 评估通过无奖励方式学习到的更优状态表示是否能缓解此病理现象。
• 探索无监督表示学习是否能减少TD误差传播并提升估计精度。

提出的方法

• 通过一个简单的可逆马尔可夫链，形式化证明在函数逼近下泄漏传播的发生。
• 使用狄利克雷范数与欧几里得范数的混合形式来建模TD损失函数中的权衡，从而实现误差传播。
• 使用蒙特卡罗回归预训练后续特征作为状态表示，随后将其与TD学习结合，以避免误差传播。
• 引入基于轨迹拓扑结构的无监督辅助损失，以学习能区分具有欺骗性相似性的状态的表示。
• 在具有尖锐不连续性的二维导航环境中测试该方法，对比使用与不使用改进表示的TD学习。
• 采用一种表示学习设置，其中特征被训练以预测即时奖励和下一状态观测，受辅助任务学习的启发。

实验结果

研究问题

• RQ1 为何在策略评估中，使用神经网络的TD学习有时会收敛到比蒙特卡罗回归更差的解？
• RQ2 在价值函数的尖锐不连续处附近，近似误差在何种条件下会传播并降低TD估计性能？
• RQ3 在存在此类不连续性的情况下，无监督表示学习是否能提升TD价值函数估计的准确性？
• RQ4 是否可能学习到一种不依赖奖励的、能捕捉轨迹拓扑结构的状态表示？

主要发现

• 当价值函数中存在尖锐不连续性时，即使在简单的可逆MDP中，TD学习中也会发生泄漏传播。
• 该问题源于TD损失函数中两项之间的张力，如Ollivier（2018）所述，且未被Tsitsiklis与Van Roy（1997）等现有泛化界所排除。
• 特权知识表示（如后续特征）可显著降低估计误差并缓解泄漏传播。
• 通过辅助任务（如预测下一状态观测和即时奖励）进行无监督表示学习，可提升二维导航任务中的性能并减少误差传播。
• 所提出的在应用TD学习前，通过蒙特卡罗回归预训练后续特征的方法，相比直接在原始状态上进行TD学习，能获得更准确的价值函数估计。