[论文解读] On Value Functions and the Agent-Environment Boundary

Nan Jiang|arXiv (Cornell University)|May 30, 2019

Reinforcement Learning in Robotics参考文献 21被引用 6

一句话总结

本文解决了强化学习理论中边界依赖的根本性问题，即值函数和理论假设会因智能体-环境边界的位置不同而变化。本文提出了一种基于更弱、不变条件而非经典值函数的拟合Q-迭代边界不变分析，从而在任意边界选择下都能提供一致的理论保证。

ABSTRACT

When function approximation is deployed in reinforcement learning (RL), the same problem may be formulated in different ways, often by treating a pre-processing step as a part of the environment or as part of the agent. As a consequence, fundamental concepts in RL, such as (optimal) value functions, are not uniquely defined as they depend on where we draw this agent-environment boundary, causing problems in theoretical analyses that provide optimality guarantees. We address this issue via a simple and novel boundary-invariant analysis of Fitted Q-Iteration, a representative RL algorithm, where the assumptions and the guarantees are invariant to the choice of boundary. We also discuss closely related issues on state resetting and Monte-Carlo Tree Search, deterministic vs stochastic systems, imitation learning, and the verifiability of theoretical assumptions from data.

研究动机与目标

• 识别并解决强化学习理论中的边界依赖问题，即值函数和理论假设随智能体-环境边界的变化而变化。
• 证明经典理论分析由于依赖边界的假设（如可实现性和低贝尔曼误差）而在等价问题表述之间不一致。
• 为拟合Q-迭代开发一种边界不变的理论框架，确保无论智能体-环境边界如何划定，其正确性和保证均保持不变。
• 解决从数据中验证理论假设的问题，表明经典假设在无状态重置的情况下本质上不可验证。
• 通过基于不变条件而非依赖边界的构造，为状态、值函数和最优性提供概念上的清晰性。

提出的方法

• 通过用基于数据期望的更弱、不变条件替代经典值函数和贝尔曼方程，提出一种边界不变的拟合Q-迭代公式。
• 用对智能体-环境边界不变的条件替代依赖边界的假设（如可实现性和低固有贝尔曼误差），这些条件基于数据分布的普通期望。
• 采用形式化框架，将假设表述为函数类和数据分布上的全称量词，确保在边界移动时保持不变。
• 证明这些不变假设可通过蒙特卡洛估计验证，而经典条件期望则需要状态重置。
• 将该框架应用于模仿学习分析，表明即使使用回报加权回归，专家示范在边界不匹配时也可能完全无用。
• 提供形式化证明，表明在对抗性数据分布下，经典可实现性假设无法从有限数据中验证，凸显了不变替代方案的必要性。

实验结果

研究问题

• RQ1 智能体-环境边界的选取如何影响基于函数逼近的强化学习中最优值函数和理论保证的定义？
• RQ2 是否可以将强化学习算法的理论分析设计为对智能体-环境边界不变，同时保持正确性和有意义的保证？
• RQ3 为何经典可实现性和贝尔曼误差假设本质上无法从自然生成的数据中验证，以及存在哪些替代方案？
• RQ4 边界依赖对模仿学习有何影响，特别是在专家和学习者边界不匹配时？
• RQ5 边界不变假设在多大程度上可以实际验证，其计算挑战是什么？

主要发现

• 同一强化学习问题在不同边界位置下可能产生不同的最优值函数，从而破坏理论构造的唯一性。
• 经典理论假设（如可实现性和低贝尔曼误差）具有边界依赖性，无法在无状态重置的情况下从有限数据中验证。
• 通过用基于数据期望的更弱、不变条件替代经典值函数，可实现拟合Q-迭代的边界不变分析。
• 基于边界不变假设导出的理论保证在所有等价问题表述中保持一致，无论边界位于何处。
• 若专家和学习者处于不同的智能体-环境边界下，专家策略的示范可能对模仿学习完全无用。
• 验证边界不变假设在计算上具有挑战性（因涉及全称量词），但原则上可通过蒙特卡洛估计和领域知识引导的采样实现。