[论文解读] Self-Optimizing and Pareto-Optimal Policies in General Environments based on Bayes-Mixtures

Marcus Hütter|ArXiv.org|Apr 17, 2002

Reinforcement Learning in Robotics参考文献 11被引用 20

一句话总结

本文提出了一种贝叶斯强化学习框架，利用贝叶斯混合模型推导出在一般概率环境下的帕累托最优且自优化的策略。证明了基于类 $ \mathcal{M} $ 中环境混合 $ \xi $ 的贝叶斯最优策略 $ p^\xi $ 在 $ \mathcal{M} $ 允许任何自优化策略时是自优化的——这是首个完全基于贝叶斯方法、一致且自优化的策略，适用于有效时域无界的遍历马尔可夫决策过程。

ABSTRACT

The problem of making sequential decisions in unknown probabilistic environments is studied. In cycle $t$ action $y_t$ results in perception $x_t$ and reward $r_t$, where all quantities in general may depend on the complete history. The perception $x_t$ and reward $r_t$ are sampled from the (reactive) environmental probability distribution $μ$. This very general setting includes, but is not limited to, (partial observable, k-th order) Markov decision processes. Sequential decision theory tells us how to act in order to maximize the total expected reward, called value, if $μ$ is known. Reinforcement learning is usually used if $μ$ is unknown. In the Bayesian approach one defines a mixture distribution $ξ$ as a weighted sum of distributions $ν\in\M$, where $\M$ is any class of distributions including the true environment $μ$. We show that the Bayes-optimal policy $p^ξ$ based on the mixture $ξ$ is self-optimizing in the sense that the average value converges asymptotically for all $μ\in\M$ to the optimal value achieved by the (infeasible) Bayes-optimal policy $p^μ$ which knows $μ$ in advance. We show that the necessary condition that $\M$ admits self-optimizing policies at all, is also sufficient. No other structural assumptions are made on $\M$. As an example application, we discuss ergodic Markov decision processes, which allow for self-optimizing policies. Furthermore, we show that $p^ξ$ is Pareto-optimal in the sense that there is no other policy yielding higher or equal value in {\em all} environments $ν\in\M$ and a strictly higher value in at least one.

研究动机与目标

• 开发一个适用于未知概率环境中的理性智能体的一般框架，使用贝叶斯混合模型。
• 建立贝叶斯最优策略 $ p^\xi $ 在已知类 $ \mathcal{M} $ 的所有环境中实现渐近最优性（即自优化）的条件。
• 证明 $ p^\xi $ 是帕累托最优的——即在 $ \mathcal{M} $ 的所有环境中均不存在其他策略在价值上严格占优——且无需对 $ \mathcal{M} $ 施加额外结构假设。
• 证明在遍历马尔可夫决策过程（MDPs）中存在自优化策略，并且贝叶斯最优策略 $ p^\xi $ 具有此性质。
• 通过证明自优化策略存在的必要条件对贝叶斯混合策略而言也是充分条件，统一并扩展了现有贝叶斯强化学习结果。

提出的方法

• 定义一个通用环境模型，其中动作导致由概率分布 $ \mu $ 决定的感知与奖励，允许非马尔可夫过程和部分可观察过程。
• 在已知环境类 $ \mathcal{M} $ 上构建贝叶斯混合 $ \xi = \sum_{\nu \in \mathcal{M}} w_\nu \nu $，包含真实环境 $ \mu $，使用先验权重 $ w_\nu $。
• 将贝叶斯最优策略 $ p^\xi $ 定义为在混合分布 $ \xi $ 下最大化期望值 $ V_\xi^p $ 的策略，利用混合值的线性性与凸性。
• 证明 $ p^\xi $ 是帕累托最优的：不存在其他策略在所有 $ \nu \in \mathcal{M} $ 中的值均不低于 $ p^\xi $，且在任意一个中严格更高。
• 建立自优化收敛性：若 $ \mathcal{M} $ 允许自优化策略，则对所有 $ \nu \in \mathcal{M} $，有 $ \frac{1}{m} V_{1m}^{p^\xi \nu} \to \frac{1}{m} V_{1m}^{*\nu} $ 当 $ m \to \infty $。
• 将结果扩展至满足 $ \gamma_{k+1}/\gamma_k \to 1 $ 的折扣无限时域模型，证明折扣值收敛于最优值。

实验结果

研究问题

• RQ1 在何种条件下，基于类 $ \mathcal{M} $ 中环境混合 $ \xi $ 的贝叶斯最优策略 $ p^\xi $ 在 $ \mathcal{M} $ 的所有环境中均为自优化？
• RQ2 在不增加对 $ \mathcal{M} $ 的结构假设下，贝叶斯最优策略 $ p^\xi $ 是否为帕累托最优的——即在 $ \mathcal{M} $ 的所有环境中均不存在其他策略在价值上占优？
• RQ3 贝叶斯混合策略 $ p^\xi $ 是否能在遍历马尔可夫决策过程（MDPs）中实现自优化行为？其收敛速率如何？
• RQ4 自优化策略存在的必要条件是否也是贝叶斯混合策略 $ p^\xi $ 实现自优化的充分条件？
• RQ5 在有效时域无界的无限时域折扣模型下，$ p^\xi $ 的性能表现如何？

主要发现

• 基于 $ \mathcal{M} $ 中环境混合 $ \xi $ 的贝叶斯最优策略 $ p^\xi $ 对任意类 $ \mathcal{M} $ 均为帕累托最优，且无需任何结构假设。
• 当且仅当类 $ \mathcal{M} $ 至少包含一个自优化策略时，策略 $ p^\xi $ 是自优化的——此必要条件亦为充分条件。
• 对于有限 $ \mathcal{M} $，平均值 $ \frac{1}{m} V_{1m}^{p^\xi \nu} $ 收敛于最优值 $ \frac{1}{m} V_{1m}^{*\nu} $ 的收敛速率至少为 $ O(m^{-1/3}) $。
• 在未折扣和折扣无限时域模型下，只要折扣因子满足 $ \gamma_{k+1}/\gamma_k \to 1 $，策略 $ p^\xi $ 对遍历 MDP 是自优化的。
• 该结果首次为有效时域无界的遍历 MDP 构建了完全基于贝叶斯方法、一致且自优化的策略，克服了以往方法在有限时域或几何折扣下的局限性。
• 该框架可扩展至连续类 $ \mathcal{M} $ 的环境（例如具有有理转移概率的遍历 MDP），在温和正则性条件下，结果依然成立。