[论文解读] T-Learning

Vincent Graziano, Faustino Gomez+2 more|arXiv (Cornell University)|Dec 31, 2011

Reinforcement Learning in Robotics参考文献 8被引用 5

一句话总结

T-Learning 提出了一种新颖的强化学习方法，专为状态较少但动作众多的问题而设计——这类问题在现实场景（如导航）中很常见——其核心思想是评估子目标之间的转移，而非单个的状态-动作对。通过将转移评估与策略依赖性解耦，T-Learning 实现了相对于 Q-learning 的任意大性能提升，从而实现了动作数量的高效扩展。

ABSTRACT

Traditional Reinforcement Learning (RL) has focused on problems involving many states and few actions, such as simple grid worlds. Most real world problems, however, are of the opposite type, Involving Few relevant states and many actions. For example, to return home from a conference, humans identify only few subgoal states such as lobby, taxi, airport etc. Each valid behavior connecting two such states can be viewed as an action, and there are trillions of them. Assuming the subgoal identification problem is already solved, the quality of any RL method---in real-world settings---depends less on how well it scales with the number of states than on how well it scales with the number of actions. This is where our new method T-Learning excels, by evaluating the relatively few possible transits from one state to another in a policy-independent way, rather than a huge number of state-action pairs, or states in traditional policy-dependent ways. Illustrative experiments demonstrate that performance improvements of T-Learning over Q-learning can be arbitrarily large.

研究动机与目标

• 解决传统强化学习方法在可扩展性方面的差距，这些方法原本针对状态众多而动作较少的场景进行优化，但在现实世界中状态较少而动作空间庞大的场景下表现不佳。
• 克服当动作数量呈指数级增长时 Q-learning 及类似算法的低效问题，例如在人类导航中存在无数条可能路径的情形。
• 开发一种可独立于策略评估子目标状态之间转移的方法，从而降低计算负担并提升样本效率。
• 使强化学习在复杂真实环境中得以实际应用，其中限制性能的并非状态空间大小，而是动作空间的规模。

提出的方法

• T-Learning 将关注点从学习单个状态-动作对的 Q 值，转向学习连接关键位置的子目标状态之间的转移值，这些转移值代表有效的行为模式。
• 它以与策略无关的方式评估这些转移，从而将转移值估计与所遵循的具体策略解耦。
• 该方法采用环境的紧凑表示，仅将相关子目标（如大厅、出租车、机场）建模为状态，而它们之间的所有可能路径则被视为动作。
• 通过状态转移上的值函数来估计转移质量，避免了必须探索每一个可能的状态-动作对。
• 该算法利用有意义的子目标转移的稀疏性，实现了与动作数量的高效扩展，而 Q-learning 在动作空间规模增大时扩展性能极差。
• 该方法假设子目标识别问题已预先解决，仅专注于优化转移评估过程以提升效率与性能。

实验结果

研究问题

• RQ1 在动作数量庞大但相关状态较少的环境中，强化学习方法是否能显著超越 Q-learning？
• RQ2 将转移评估与策略依赖性解耦，是否能实现在高动作空间问题中的可扩展且高效的强化学习？
• RQ3 在这些设置中，相对于 Q-learning 的性能提升在多大程度上可以达到任意大的程度？
• RQ4 是否可行仅使用少量子目标状态和基于转移的值学习来建模真实世界的导航任务（如从会议返回家中）？

主要发现

• 在动作众多而状态较少的问题中，T-Learning 相较于 Q-learning 实现了任意大的性能提升。
• 该方法能高效扩展至动作数量，适用于动作空间庞大的真实世界环境。
• 通过聚焦于子目标转移而非单个状态-动作对，T-Learning 降低了传统强化学习方法固有的计算负担。
• 对转移的策略无关评估，使得在高动作空间场景中实现更快收敛和更优的样本效率成为可能。
• 示例实验证实，T-Learning 的设计在 Q-learning 因动作空间爆炸而失效的场景中，能带来显著的性能增益。
• 该方法在涉及类人导航的任务中尤为有效，其中仅有少数有意义的子目标，但存在数万亿条可能的路径（动作）连接它们。