[论文解读] Unifying task specification in reinforcement learning

Martha White|arXiv (Cornell University)|Sep 7, 2016

Reinforcement Learning in Robotics参考文献 22被引用 17

一句话总结

本文提出了一种统一的强化学习（RL）任务形式化框架，通过基于转移的折扣机制将环境动态与学习目标分离，实现了回合制与持续性任务的无缝整合。核心贡献是一个广义贝尔曼算子，其具备可证明的压缩边界，可涵盖回合制与持续性RL的先前结果，从而简化了理论分析与算法开发。

ABSTRACT

Reinforcement learning tasks are typically specified as Markov decision processes. This formalism has been highly successful, though specifications often couple the dynamics of the environment and the learning objective. This lack of modularity can complicate generalization of the task specification, as well as obfuscate connections between different task settings, such as episodic and continuing. In this work, we introduce the RL task formalism, that provides a unification through simple constructs including a generalization to transition-based discounting. Through a series of examples, we demonstrate the generality and utility of this formalism. Finally, we extend standard learning constructs, including Bellman operators, and extend some seminal theoretical results, including approximation errors bounds. Overall, we provide a well-understood and sound formalism on which to build theoretical results and simplify algorithm use and development.

研究动机与目标

• 为解决传统RL任务规范中缺乏模块化的问题，即环境动态与学习目标被耦合在一起。
• 在单一形式化框架下统一多种RL设定——回合制、持续性、选项、通用价值函数等。
• 通过减少对回合制与持续性任务分别处理的需求，简化理论分析与算法开发。
• 将贝尔曼算子压缩边界等基础结果扩展至基于转移的折扣的广义框架。
• 为研究与实际RL开发提供一种原则性、直观且可复用的形式化框架。

提出的方法

• 提出将RL任务形式化为四元组 (P, r, γ, i)，其中 P 为策略集合，r 为奖励函数，γ 为基于转移的折扣函数，i 为兴趣函数。
• 引入基于转移的折扣 γ(s,a,s′) ∈ [0,1]，推广常数 γ，实现动态、与状态-动作-转移相关的折扣机制。
• 证明仅通过修改折扣函数即可统一回合制与持续性任务，无需改变底层MDP结构或增加终止状态。
• 为新形式化框架推导广义贝尔曼算子，并在温和条件下证明其压缩性，扩展收敛性保证。
• 证明现有回合制与持续性任务的收敛结果均被新框架的理论边界所涵盖。
• 将理论扩展至LSTD(λ)与强调算法等算法，通过新参数 s_D 统一收敛速率。

实验结果

研究问题

• RQ1 如何在不修改底层MDP结构的前提下，通过单一框架正式统一回合制与持续性RL任务？
• RQ2 基于状态的折扣与基于转移的折扣之间有何关系，如何形式化表达？
• RQ3 广义贝尔曼算子在基于转移的折扣下是否具有压缩性，其是否涵盖既有的压缩结果？
• RQ4 在新形式化下，值函数方法的近似误差边界与收敛速率如何推广？
• RQ5 基于转移的折扣在算法设计与理论分析中的实际影响是什么？

主要发现

• 所提出的RL任务形式化框架通过基于转移的折扣成功统一了回合制与持续性任务，消除了对状态空间结构分别修改的需求。
• 基于转移折扣的广义贝尔曼算子在温和条件下具备可证明的压缩性，扩展了强化学习的理论基础。
• 现有回合制与持续性任务的收敛结果被新框架的广义压缩边界所涵盖，表明其具有更广泛的应用性。
• LSTD(λ)与强调算法的收敛速率通过新参数 s_D 得到推广，该参数捕捉了跨转移的等效折扣行为。
• 在出租车环境中的实证分析表明，s_D 随 λ_c 增大与终止概率升高而显著下降，表明算法稳定性提升且偏差减少。
• 该形式化框架实现了环境动态与学习目标的清晰分离，简化了实现与理论开发。