[论文解读] Universal Sequential Decisions in Unknown Environments

Marcus Hütter|ArXiv.org|Jun 16, 2003

Computability, Logic, AI Algorithms参考文献 2被引用 6

一句话总结

本文提出了 AIξ 模型，该模型通过用源自 Solomonoff 归纳法的通用先验 ξ 替代未知环境模型 μ，成为未知环境中序列决策的通用且最优的智能体。AIξ 系统在所有可计算环境中进行贝叶斯推理，实现无调节参数的期望损失渐近最优，有效解决了强化学习中的核心挑战，如探索-利用权衡与泛化能力。

ABSTRACT

We give a brief introduction to the AIXI model, which unifies and overcomes the limitations of sequential decision theory and universal Solomonoff induction. While the former theory is suited for active agents in known environments, the latter is suited for passive prediction of unknown environments.

研究动机与目标

• 将序列决策理论与通用归纳统一为一个单一框架，用于未知环境中的智能体。
• 克服现有强化学习方法的局限性，如泛化能力差、探索-利用权衡次优，以及对领域特定假设的依赖。
• 开发一种无模型、普遍最优的智能体，可在任何可计算环境中以最少假设实现最优性能。
• 证明即使 μ 未知，AIξ 模型在渐近意义上仍会收敛至真实环境 μ 的最优策略。

提出的方法

• AIξ 模型用通用先验 ξ 替代未知环境分布 μ，其中 ξ 定义为可数集合 M 中所有可计算的时间序列半测度的加权和。
• 权重 wμi 设置为与 2−K(μi) 成正比，其中 K(μi) 是 μi 的柯尔莫哥洛夫复杂度，从而确保简洁性偏置和通用支配性。
• 智能体通过在所有未来结果上最小化期望总损失，使用 ξ 作为信念分布来选择动作 yt：yt := argmin_yt ∑xt ... min_yn ∑xn (lt + ... + ln) ξ(x1:n|y1:n)。
• 通过将损失值 lt 纳入输入空间，将损失函数作为输入序列的一部分，从而将未知损失函数隐含地纳入 μ。
• 系统对未来的动作和结果进行递归最小化，且动作仅依赖于观测历史 x<t y1:t。
• AIξ 模型的形式化定义不包含可调节参数，完全依赖于通用先验 ξ 和决策问题的结构。

实验结果

研究问题

• RQ1 是否存在一个单一的、无参数的智能体模型，能够在不事先了解环境动力学或损失函数的情况下，对所有可计算环境实现最优性能？
• RQ2 通用先验 ξ 对真实环境 μ 的收敛如何影响序列决策中的决策性能？
• RQ3 AIξ 模型在多大程度上克服了强化学习中的根本性局限，如次优的探索与利用策略？
• RQ4 与可计算环境中任何其他智能体相比，AIξ 模型在学习速度和决策准确性方面是否具有普遍最优性？
• RQ5 将通用归纳整合到决策理论中，如何实现对部分可观察或非马尔可夫环境的稳健泛化？

主要发现

• AIξ 模型在期望损失方面实现了渐近最优，当 n → ∞ 时，L_nΛξ / L_nΛμ → 1，表明其收敛至真实环境 μ 下的最优策略。
• ξ 对 μ 的收敛速度很快，L_nΛξ / L_nΛμ = 1 + O(√(K(μ)/L_nΛμ))，表明在 n 较大时具有强大的性能保证。
• 当真实环境 μ 是可计算的且包含在集合 M 中时，即使事先不了解 μ，AIξ 模型也保证收敛至最优策略。
• 该模型通过通用先验隐式平衡所有可计算环境的搜索，从而克服了探索-利用困境。
• AIξ 模型在普遍最优的意义上成立，即在可计算环境中，没有任何其他智能体能以更少的交互周期更快地学习或解决问题。
• 即使损失函数未知，该模型仍保持鲁棒性，因为损失函数可被吸收进输入空间，并通过 ξ 隐式学习。