[论文解读] TD or not TD: Analyzing the Role of Temporal Differencing in Deep Reinforcement Learning

Artemij Amiranashvili, Alexey Dosovitskiy+2 more|arXiv (Cornell University)|Jun 4, 2018

Neural dynamics and brain function参考文献 22被引用 8

一句话总结

本文通过在感知复杂的3D环境中对比有限时域蒙特卡罗（MC）方法与时差（TD）学习，重新评估了TD学习在深度强化学习中的作用。与经典强化学习理论相反，MC方法在稀疏奖励、延迟反馈和高感知复杂性的任务中表现更优或与基于TD的方法相当，尤其是在从原始像素端到端训练深度感知网络时表现更优。

ABSTRACT

Our understanding of reinforcement learning (RL) has been shaped by theoretical and empirical results that were obtained decades ago using tabular representations and linear function approximators. These results suggest that RL methods that use temporal differencing (TD) are superior to direct Monte Carlo estimation (MC). How do these results hold up in deep RL, which deals with perceptually complex environments and deep nonlinear models? In this paper, we re-examine the role of TD in modern deep RL, using specially designed environments that control for specific factors that affect performance, such as reward sparsity, reward delay, and the perceptual complexity of the task. When comparing TD with infinite-horizon MC, we are able to reproduce classic results in modern settings. Yet we also find that finite-horizon MC is not inferior to TD, even when rewards are sparse or delayed. This makes MC a viable alternative to TD in deep RL.

研究动机与目标

• 重新审视时差（TD）学习在现代深度强化学习中的主导地位，因为以往的研究结果基于表格型或线性函数逼近器。
• 探究在使用非线性函数逼近器和高维视觉输入的深度强化学习设置中，经典理论中TD优于蒙特卡罗（MC）估计的结论是否仍然成立。
• 隔离稀疏奖励、奖励延迟、感知复杂性和终止状态特性对学习性能的影响。
• 评估有限时域MC方法是否可通过控制算法和环境因素，成为深度强化学习中TD的可行替代方案。
• 理解尽管理论预期有利于TD，MC方法为何在复杂3D环境中仍能取得成功。

提出的方法

• 设计了隔离关键强化学习挑战的受控环境：奖励稀疏性、奖励延迟、感知复杂性和终止状态动力学。
• 在统一的软件框架中实现了基于TD和有限时域MC的深度Q-learning与A3C算法，以确保公平比较。
• 使用深度神经网络表示价值函数，训练信号基于自举预测（TD）或真实回报（MC）。
• 调整MC学习中的预测时域，以研究滚动长度对性能的影响。
• 在网格世界、Atari游戏和具有不同感知难度的沉浸式3D ViZDoom环境中评估性能。
• 使用MC目标端到端训练感知网络，以评估其从原始像素中学习有意义表征的能力。

实验结果

研究问题

• RQ1 在使用非线性函数逼近器和高维视觉输入的深度强化学习中，经典理论中TD优于MC学习的结论是否依然成立？
• RQ2 稀疏奖励和延迟奖励在有限时域蒙特卡罗与基于TD的方法中如何影响性能？
• RQ3 感知复杂性在多大程度上影响了MC与TD在深度强化学习中的相对性能？
• RQ4 MC方法是否能有效在复杂环境中从原始感官输入训练深度感知网络？
• RQ5 在现代深度强化学习设置中，结合TD和MC信号（如TD(λ)）会产生何种影响？

主要发现

• 在沉浸式3D环境中，有限时域蒙特卡罗学习优于或匹配基于TD的方法，尤其在稀疏和延迟奖励的任务中表现更优。
• 在极稀疏设置中（平均补给包间隔为44步），32步时域的Q_MC仍实现了非平凡的性能，优于A3C，并与20步TD智能体相当。
• Q_MC学习到的感知网络优于20步TD智能体，表现为累积奖励更高且在ViZDoom环境中健康值提升。
• 感知复杂性对基于TD的方法影响更大，而Q_MC在多纹理任务中对视觉难度增加更具鲁棒性。
• TD方法中更长的滚动时域（如20步）提升了性能，并使其更接近MC方法的表现，支持了TD从更长规划时域中受益的假设。
• 在n步Q-learning和A3C中，TD与MC信号的混合（如TD(λ)）取得了最佳结果，与经典发现一致，且在深度强化学习设置中得到验证。