[论文解读] Planning by Prioritized Sweeping with Small Backups

Harm van Seijen, Richard S. Sutton|arXiv (Cornell University)|Jan 10, 2013

Reinforcement Learning in Robotics参考文献 5被引用 24

一句话总结

本文提出小备份（small backups）——一种细粒度的、仅更新单个后继状态值的更新机制，将每次备份的计算时间降低至 O(1)，且与后继状态数量无关。通过实现更频繁、更精准的更新，结合小备份的优先级扫描方法在样本效率上显著优于经典方法，即使每时间步仅执行一次更新周期，也优于 Moore & Atkeson 与 Peng & Williams 的实现。

ABSTRACT

Efficient planning plays a crucial role in model-based reinforcement learning. Traditionally, the main planning operation is a full backup based on the current estimates of the successor states. Consequently, its computation time is proportional to the number of successor states. In this paper, we introduce a new planning backup that uses only the current value of a single successor state and has a computation time independent of the number of successor states. This new backup, which we call a small backup, opens the door to a new class of model-based reinforcement learning methods that exhibit much finer control over their planning process than traditional methods. We empirically demonstrate that this increased flexibility allows for more efficient planning by showing that an implementation of prioritized sweeping based on small backups achieves a substantial performance improvement over classical implementations.

研究动机与目标

• 为解决完整备份在值迭代与优先级扫描中计算成本过高的问题，其计算复杂度与后继状态数量成正比。
• 开发一种更高效的规划机制，实现对计算时间分配的更精细控制。
• 在计算资源受限或实时性要求高的环境中，实现有效的规划。
• 证明小备份可优于基于完整备份的经典优先级扫描方法，在样本效率与收敛速度方面表现更优。

提出的方法

• 引入小备份操作：A ← A − x_j + X_j，仅更新单个后继状态 X_j 的值，而非重新计算完整求和。
• 在优先级扫描框架中应用小备份，其中状态按预期值变化幅度进行优先级排序。
• 使用优先队列选择下一个待更新状态，确保高影响力的价值变化优先传播。
• 采用基于模型的方法，存储转移概率与奖励，实现无需环境交互的价值变化反向传播。
• 通过使用小备份而非采样备份，实现无超参数的算法，避免了学习率超参数调优的需要。
• 通过初始化未访问的状态-动作对为乐观值（例如 0），在访问 M 次之前保持乐观，以应对不确定性。

实验结果

研究问题

• RQ1 仅更新单个后继状态的备份机制是否能在规划中实现优于完整备份的样本效率？
• RQ2 降低每次备份的计算成本是否能实现更频繁、更精准的价值更新，从而提升收敛速度？
• RQ3 小备份能否支持一种无超参数的规划方法，其性能可与 TD(0) 相当，且无需学习率调优？
• RQ4 在样本效率与计算时间方面，结合小备份的优先级扫描方法与经典实现相比表现如何？

主要发现

• 基于小备份的优先级扫描实现，在每时间步仅执行一次更新周期的情况下，性能与完整值迭代相当，且优于两种经典实现。
• 在每时间步仅一次更新周期的条件下，小备份方法在无需学习率调优的情况下，达到了最优调优的 TD(0) 性能。
• 小备份方法的每次更新周期计算时间更低，且总计算时间主要由 O(P_re) 项主导，表明其具有良好的可扩展性。
• Peng & Williams 方法性能劣于 Moore & Atkeson 的方法，因其备份与转移概率成正比（1/15），导致影响受限。
• 小备份方法在每次更新周期内执行的备份次数显著更多——与前驱状态数量成正比——从而实现价值变化的更快传播。
• 该方法展现出极高的样本效率，100 次运行中的最大标准差仅为 0.1（Peng & Williams 除外，为 1.0），表明性能稳定。