[论文解读] Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality

Jiawei Huang, Jing‐Lin Chen+4 more|arXiv (Cornell University)|Feb 14, 2022

Age of Information Optimization被引用 4

一句话总结

本文将部署高效强化学习（DE-RL）形式化为一个带约束的优化问题，旨在最小化部署次数 $K$ 的同时收集大规模轨迹批次。它建立了确定性策略和一般策略分别对应的 $ frac{1}{2} imes ext{d}H$ 和 $ frac{1}{2} imes ext{H}$ 的信息论下界，并提出了达到这些下界的算法，在有限时域线性 MDP 中展示了最优的部署效率。

ABSTRACT

Deployment efficiency is an important criterion for many real-world applications of reinforcement learning (RL). Despite the community's increasing interest, there lacks a formal theoretical formulation for the problem. In this paper, we propose such a formulation for deployment-efficient RL (DE-RL) from an "optimization with constraints" perspective: we are interested in exploring an MDP and obtaining a near-optimal policy within minimal \emph{deployment complexity}, whereas in each deployment the policy can sample a large batch of data. Using finite-horizon linear MDPs as a concrete structural model, we reveal the fundamental limit in achieving deployment efficiency by establishing information-theoretic lower bounds, and provide algorithms that achieve the optimal deployment efficiency. Moreover, our formulation for DE-RL is flexible and can serve as a building block for other practically relevant settings; we give "Safe DE-RL" and "Sample-Efficient DE-RL" as two examples, which may be worth future investigation.

研究动机与目标

• 将强化学习中的部署效率形式化为一个最小化部署次数 $K$ 的带约束优化问题，同时满足大规模批量采样要求。
• 通过有限时域线性 MDP 中的信息论下界，识别部署效率的根本极限。
• 设计在确定性策略和一般策略部署设置下均达到最优部署复杂度的算法。
• 将 DE-RL 框架扩展至实际变体，如安全 DE-RL 和样本高效 DE-RL。

提出的方法

• 将 DE-RL 形式化为在以下约束下最小化部署次数 $K$：(a) 经过 $K$ 次部署后输出一个 $\varepsilon$-最优策略；(b) 每次部署收集 $N$ 条轨迹，且 $N$ 为问题参数的多项式函数。
• 采用有限时域线性 MDP 作为结构模型，以推导下界并设计算法。
• 提出一种基于最小二乘值迭代与奖励奖励机制及分层探索的确定性策略算法，实现 $O(dH)$ 次部署。
• 引入一种新颖的批量有限样本版本椭球潜力引理，作为分析的技术工具。
• 设计一种混合策略方法，结合悲观与乐观的离线算法，以满足单调策略改进的约束条件。
• 通过策略改进约束 $J(\pi_{i+1}) \geq J(\pi_i) - \varepsilon$ 将结果扩展至安全 DE-RL；通过限制 $N$ 将结果扩展至样本高效 DE-RL。

实验结果

研究问题

• RQ1 在 DE-RL 中，为实现 $\varepsilon$-最优性，所需部署次数的根本下界是什么？
• RQ2 能否设计出达到部署复杂度信息论下界的算法？
• RQ3 仅部署确定性策略的要求如何影响部署效率的极限？
• RQ4 当 $N$ 受限时，部署效率与样本效率之间的权衡是什么？
• RQ5 如何将如单调策略改进等安全约束整合进 DE-RL 框架？

主要发现

• 本文在有限时域线性 MDP 中，为仅部署确定性策略的算法建立了紧致的 $\Omega(dH)$ 部署复杂度下界。
• 对于一般策略部署，下界为 $\widetilde{\Omega}(H)$，表明即使在策略无限制的情况下，时域依赖性仍是根本性限制。
• 所提出的确定性策略部署算法实现了 $O(dH)$ 次部署，与下界完全匹配，从而证明了其最优性。
• 证明了新颖的批量有限样本版本椭球潜力引理（作为引理 4.2），为所提算法的分析提供了支持。
• 在安全 DE-RL 中，混合策略方法通过平衡悲观与乐观策略，以高概率确保单调策略改进。
• 该框架可扩展至样本高效 DE-RL，其中 $N$ 受限，而 $K$ 与 $N_0$ 之间的权衡仍为开放问题。