[论文解读] Optimal Sequential Decisions based on Algorithmic Probability

Marcus Hütter|arXiv (Cornell University)|Jun 16, 2003

Distributed Sensor Networks and Detection Algorithms被引用 2

一句话总结

本文提出了AIXI模型，这是一种统一框架，将顺序决策理论与通用的Solomonoff归纳法相结合，以实现在未知环境中的最优决策。通过将算法概率与主动学习相结合，AIXI通过所有可计算模型的贝叶斯推断，在任意环境中实现最优行为。

ABSTRACT

We give a brief introduction to the AIXI model, which unifies and overcomes the limitations of sequential decision theory and universal Solomonoff induction. While the former theory is suited for active agents in known environments, the latter is suited for passive prediction of unknown environments.

研究动机与目标

• 将顺序决策理论与通用归纳法统一为一个单一的最优框架。
• 克服现有理论的局限性，这些理论要么局限于已知环境，要么仅限于被动预测。
• 为任意未知环境中的最优强化学习提供一个形式化模型。
• 将算法概率整合到主动决策中，以实现通用智能。

提出的方法

• 提出AIXI作为通用智能体，将Solomonoff归纳法与顺序决策理论相结合。
• 使用算法概率（Kolmogorov复杂度）为所有可计算环境分配先验概率。
• 通过贝叶斯更新，根据观测结果和动作来优化对环境的信念。
• 通过在所有可能的可计算模型上最大化未来预期奖励，来优化行动。
• 采用递归决策过程，利用通用先验平衡探索与利用。
• 将AIXI定义为在无限计算极限下强化学习问题的最优解。

实验结果

研究问题

• RQ1 如何将顺序决策与通用归纳法统一到一个单一的最优框架中？
• RQ2 算法概率在实现未知环境中最优行为方面起到什么作用？
• RQ3 一个单一的智能体模型能否同时结合主动学习与通用预测？
• RQ4 AIXI如何克服传统决策理论与归纳法的局限性？
• RQ5 一个普遍最优的强化学习智能体具有哪些理论特性？

主要发现

• AIXI为在任意未知环境中实现最优顺序决策问题提供了形式化且数学上严谨的解决方案。
• 该模型通过基于算法概率的单一原则，统一了主动决策与被动预测。
• AIXI在最优性意义上是最优的，即其在期望奖励方面渐近优于任何其他可计算策略。
• 该框架表明，通过将动作序列纳入模型空间，通用归纳法可扩展至主动智能体。
• AIXI为人工通用智能建立了一个理论基准，尽管在实践中不可计算。
• 该模型表明，未知环境中最优行为可从算法复杂性与贝叶斯推断的原则中推导得出。