[论文解读] Reducing Commitment to Tasks with Off-Policy Hierarchical Reinforcement Learning

Mitchell Keith Bloch|arXiv (Cornell University)|Apr 27, 2011

Reinforcement Learning in Robotics参考文献 7被引用 3

一句话总结

本文提出了一种无策略的分层强化学习方法，通过修改分层强化学习中的时序差分（TD）学习，消除了非预期的策略内更新。结果表明，通过门控时序二阶差分轨迹（GTSDT）和一步内选项学习，减少对子任务完成的承诺，可显著提升出租车-出租车领域中的在线学习效率和最终策略质量，挑战了长期以来认为子任务完成承诺对高效分层强化学习至关重要这一观点。

ABSTRACT

In experimenting with off-policy temporal difference (TD) methods in hierarchical reinforcement learning (HRL) systems, we have observed unwanted on-policy learning under reproducible conditions. Here we present modifications to several TD methods that prevent unintentional on-policy learning from occurring. These modifications create a tension between exploration and learning. Traditional TD methods require commitment to finishing subtasks without exploration in order to update Q-values for early actions with high probability. One-step intra-option learning and temporal second difference traces (TSDT) do not suffer from this limitation. We demonstrate that our HRL system is efficient without commitment to completion of subtasks in a cliff-walking domain, contrary to a widespread claim in the literature that it is critical for efficiency of learning. Furthermore, decreasing commitment as exploration progresses is shown to improve both online performance and the resultant policy in the taxicab domain, opening a new avenue for research into when it is more beneficial to continue with the current subtask or to replan.

研究动机与目标

• 解决无策略分层强化学习（HRL）系统中非预期的策略内学习问题。
• 挑战广泛持有的观点，即完成子任务的承诺对高效HRL学习至关重要。
• 开发支持可靠无策略学习的TD方法，且无需子任务先收敛。
• 探索在探索过程中动态降低承诺程度对学习性能的影响。

提出的方法

• 修改传统TD方法，以在HRL的无策略学习过程中防止策略内更新。
• 提出门控时序二阶差分轨迹（GTSDT），一种用于分层选项的校正无策略TD方法。
• 采用一步内选项学习（OSIO），以确保在非贪婪子任务执行期间保持一致的价值备份。
• 使用全状态更新，通过更新层次结构中所有目标的Q值来提高学习效率。
• 应用Boltzmann探索并配合冷却调度，使承诺从1逐渐降低至0，历时100,000集。
• 实现一个基于任务目标共享Q值的分层智能体，并采用非分层执行方式以支持在线学习。

实验结果

研究问题

• RQ1 无策略HRL是否能在不强制子任务完成的情况下实现高效学习？
• RQ2 减少对子任务完成的承诺是否能提升学习速度和最终策略质量？
• RQ3 当子任务中采取非贪婪动作时，传统TD方法（如Q(0)和OSIO）在无策略HRL中是否可靠？
• RQ4 GTSDT和OSIO是否能在非分层执行期间支持有效学习？
• RQ5 在何种情况下，对子任务完成的承诺更有利于或更不利于学习效率？

主要发现

• 无论承诺水平如何，GTSDT在最终策略质量方面均优于固定Q(0)和固定OSIO。
• 在线性能始终以GTSDT最佳，且在降低承诺后显著提升。
• 在100,000集内将承诺从1降低至0，可改善所有三种测试算法的最终策略。
• 降低承诺后，GTSDT和OSIO的在线性能得到提升，而固定Q(0)仅略有下降。
• 结果与文献中认为子任务完成承诺对高效HRL学习至关重要这一观点相矛盾。
• 本研究证明，通过使用校正的TD方法，可在无需子任务先收敛的情况下实现可靠的无策略学习。