[论文解读] On the Computability of AIXI

Jan Leike, Marcus Hütter|arXiv (Cornell University)|Oct 19, 2015

Computability, Logic, AI Algorithms参考文献 22被引用 3

一句话总结

本文证明AIXI并非极限可计算的，原因在于动作选择中的不可判定性冲突以及无限时域价值函数定义。通过引入递归价值函数并聚焦于$\epsilon$-最优策略，作者构建了一个极限可计算的AIXI变体，该变体可最大化期望奖励，并在无限时域下实现$\epsilon$-最优性。

ABSTRACT

How could we solve the machine learning and the artificial intelligence problem if we had infinite computation? Solomonoff induction and the reinforcement learning agent AIXI are proposed answers to this question. Both are known to be incomputable. In this paper, we quantify this using the arithmetical hierarchy, and prove upper and corresponding lower bounds for incomputability. We show that AIXI is not limit computable, thus it cannot be approximated using finite computation. Our main result is a limit-computable ε-optimal version of AIXI with infinite horizon that maximizes expected rewards.

研究动机与目标

• 确定AIXI在可计算性层级中的确切不可计算程度。
• 解决AIXI的无限时域价值函数与动作选择中冲突处理的固有问题，导致其无法实现极限可计算性。
• 开发一种可计算的、$\epsilon$-最优的AIXI版本，使其在无限时域下最大化期望奖励。
• 证明所提出的递归价值函数即使在环境可能终止的情况下，也能正确计算期望奖励。

提出的方法

• 使用可计算性层级对AIXI及相关智能体的可计算性进行分类，识别出$\Sigma^0_4$-难与$\Sigma^0_3$-难的层级。
• 引入价值函数$W^\pi_\nu$的递归定义，避免传统迭代定义中对无限存活的依赖。
• 以$W^\pi_\nu$替代迭代价值函数$V^\pi_\nu$，后者为下半可计算，从而实现极限可计算性。
• 将递归价值函数应用于AIXI与AINU，证明$\epsilon$-最优策略可实现极限可计算性（$\Sigma^0_2$）。
• 通过确保在时域$m$上单调递增，证明递归价值函数能正确计算期望奖励。
• 利用下半可计算函数在极限下封闭的性质，构建适用于$\epsilon$-最优策略的任意时间算法。

实验结果

研究问题

• RQ1 AIXI在可计算性层级中的确切不可计算程度为何？
• RQ2 为何AIXI的标准迭代价值函数无法实现极限可计算性？是否可加以修正？
• RQ3 能否构造一个极限可计算的、$\epsilon$-最优的AIXI变体，使其在无限时域下最大化期望奖励？
• RQ4 递归价值函数$W^\pi_\nu$是否足以在可能终止的环境中正确计算期望奖励？
• RQ5 在一般半可计算环境中，最优与$\epsilon$-最优策略的计算复杂度边界为何？

主要发现

• AIXI并非极限可计算；其最优策略为$\Sigma^0_4$-难，$\epsilon$-最优策略为$\Sigma^0_3$-难。
• 迭代价值函数$V^\pi_\nu$不可极限可计算，因其依赖于‘永远存活’的条件，而该条件不可判定。
• 递归价值函数$W^\pi_\nu$为$\Sigma^0_2$-可计算，且能正确计算无限时域下的$\epsilon$-期望奖励。
• 基于递归价值函数的$\epsilon$-最优策略为极限可计算（$\Sigma^0_2$），因此可被任意标准图灵机逼近。
• 对于特定的通用图灵机，$\epsilon$-最优递归AIXI为$\Sigma^0_1$-难，表明其计算难度等同于停机问题。
• 递归AIXI智能体实现快速收敛：$\epsilon(t)$-最优策略的值随$t \to \infty$收敛至最优值。