[论文解读] Separating value functions across time-scales

Joshua Romoff, Peter Henderson+4 more|arXiv (Cornell University)|Feb 5, 2019

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出TD(Δ)，一种新颖的时间差分学习方法，通过将价值函数分解为在连续折扣因子下价值函数差异的组成部分，实现对价值函数的分解。通过独立学习这些delta估计器，TD(Δ)在密集奖励环境（如Atari）中提升了学习稳定性和性能，无需额外超参数调优即可实现更快收敛和更优回报，仅使用默认设置。

ABSTRACT

In many finite horizon episodic reinforcement learning (RL) settings, it is desirable to optimize for the undiscounted return - in settings like Atari, for instance, the goal is to collect the most points while staying alive in the long run. Yet, it may be difficult (or even intractable) mathematically to learn with this target. As such, temporal discounting is often applied to optimize over a shorter effective planning horizon. This comes at the risk of potentially biasing the optimization target away from the undiscounted goal. In settings where this bias is unacceptable - where the system must optimize for longer horizons at higher discounts - the target of the value function approximator may increase in variance leading to difficulties in learning. We present an extension of temporal difference (TD) learning, which we call TD($Δ$), that breaks down a value function into a series of components based on the differences between value functions with smaller discount factors. The separation of a longer horizon value function into these components has useful properties in scalability and performance. We discuss these properties and show theoretic and empirical improvements over standard TD learning in certain settings.

研究动机与目标

• 为解决在强化学习中优化长期无折扣回报的挑战，同时避免固定折扣带来的偏差。
• 改善密集奖励环境（如Atari）中的学习稳定性和收敛速度，因为在这些环境中标准TD学习因高方差而表现不佳。
• 通过将价值函数分解为时间尺度特定的组件，实现可扩展、模块化的学习。
• 提供一种方法，支持在不同时间尺度上对价值函数组件的可解释性。
• 提供一种标准TD学习的即插即用替代方案，通过组件级超参数调优提升性能。

提出的方法

• TD(Δ)将价值函数VγZ分解为一系列delta估计器Wz = Vγz − Vγz−1，其中每个Wz代表增加一个新时间尺度所带来的增量价值。
• 每个delta估计器Wz满足基于更短时间尺度Ws的贝尔曼类似方程，从而实现各组件的独立学习。
• 该方法使用一系列递增的折扣因子γz，其中z从0到Z，通常通过将有效时间范围加倍来设定γz（例如，γz = 0.5^z）。
• 最终价值函数通过所有Wz组件的求和重建，从而在最大时间尺度γZ处保持原始的折扣回报。
• 该方法支持对每个组件进行细粒度的超参数调优，例如学习率和回报估计（如k步回报），从而提升收敛性能。
• TD(Δ)与现有的基于TD的算法（如TD(λ)和广义优势估计GAE）兼容，可无缝集成到现有强化学习流程中。

实验结果

研究问题

• RQ1 将价值函数分解为时间尺度特定的组件，是否能提升密集奖励环境中的学习性能？
• RQ2 独立学习各组delta估计器Wz，是否相比标准TD学习能实现更快收敛和更低方差？
• RQ3 该分解是否能支持对策略行为在不同时间尺度上的可解释性？
• RQ4 在仅使用默认γz值序列的情况下，性能提升的幅度有多大，是否可实现最小化超参数调优？
• RQ5 TD(Δ)是否可作为任意时间算法使用，即在训练过程中任意时刻均可获得可用的部分结果？

主要发现

• 在密集奖励的Atari环境中，TD(Δ)相较于标准TD学习实现了稳定的性能提升，尤其在为每个delta估计器使用k步回报时效果更显著。
• 该方法可加快短时间尺度组件的收敛，从而为长时序组件提供更早的bootstrapping，提升整体训练效率。
• 使用默认的γz值序列（如将有效时间范围加倍）可在大多数测试的Atari游戏中实现性能提升，而无需额外调优。
• 该分解使从业者可通过分析单个Wz组件来解释策略行为，揭示轨迹中密集奖励被获取的时间点与方式。
• TD(Δ)支持对每个组件进行自适应超参数调优，通过针对性调整γz、kz和λz值，可进一步提升性能。
• 该方法与TD(λ)和GAE兼容，实证结果表明其在标准强化学习基准中实现了更高的样本效率和回报。