[论文解读] Towards a Universal Theory of Artificial Intelligence based on Algorithmic Probability and Sequential Decision Theory

Marcus Hütter|ArXiv.org|Dec 16, 2000

Computability, Logic, AI Algorithms参考文献 15被引用 4

一句话总结

本文提出了一种基于算法概率（Solomonoff归纳法）和序列决策理论的通用人工智能模型AIξ，统一了可计算环境中的最优学习与决策。其核心贡献是一个形式化、无参数的AI模型，该模型在理论上是最优的，其可计算近似模型AIξ^tl在时间与空间受限条件下优于任何其他代理，尽管其时间复杂度随空间边界呈指数增长。

ABSTRACT

Decision theory formally solves the problem of rational agents in uncertain worlds if the true environmental probability distribution is known. Solomonoff's theory of universal induction formally solves the problem of sequence prediction for unknown distribution. We unify both theories and give strong arguments that the resulting universal AIXI model behaves optimal in any computable environment. The major drawback of the AIXI model is that it is uncomputable. To overcome this problem, we construct a modified algorithm AIXI^tl, which is still superior to any other time t and space l bounded agent. The computation time of AIXI^tl is of the order t x 2^l.

研究动机与目标

• 将决策理论与算法概率统一为一个通用人工智能的单一框架。
• 形式化一个最优代理模型AIξ，使其在任何可计算环境中均表现最优，且无需对环境做先验假设。
• 通过构建一个实用的近似模型AIξ^tl，解决AIξ的不可计算性问题，同时保证其优于所有受限代理的性能。
• 将通用AI问题转化为计算问题，从而实现理论分析并为未来实现奠定基础。

提出的方法

• 形式化理性代理通过动作-感知循环与环境交互，将代理与环境均建模为图灵机。
• 引入AIμ模型作为在已知环境分布μ下最大化期望奖励的最优策略。
• 通过Solomonoff的算法先验ξ应用通用归纳法，替代μ，从而形成通用AIξ模型。
• 采用类似Expectimax的递归优化方法，对动作与感知序列进行优化，推导出AIξ模型。
• 构建AIξ^tl作为AIξ的时间与空间受限近似模型，其计算时间复杂度为O(t·2^l)。
• 采用类似Levin搜索的枚举方法，在时间t内评估所有长度不超过l的程序，选择表现最佳的策略。

实验结果

研究问题

• RQ1 是否存在一个单一的、无参数的模型，能够统一所有可计算环境中最优学习与决策？
• RQ2 是否存在一个形式化、数学上严谨的通用智能定义，既最优又普遍适用？
• RQ3 如何在保持最优性保证的前提下，有效近似不可计算的通用AI模型？
• RQ4 在强化学习与决策中实现通用性所需的计算成本是多少？

主要发现

• AIξ模型在任何可计算环境中均形式化最优，无需对环境做先验假设，即可最大化期望未来奖励。
• AIξ^tl优于任何时间t与空间l受限的其他代理，其计算时间复杂度为O(t·2^l)。
• 该模型将通用AI问题转化为计算问题，将挑战从设计问题转变为可计算性问题。
• 额外知识可通过初始输入引入，且模型能高效适应，无需硬编码。
• 该模型在统一框架下为序列预测、策略博弈、函数最小化与监督学习提供了形式化解决方案。
• 尽管AIξ本身不可计算，但其为通用智能提供了理论基础，而AIξ^tl则是实现该模型的可行第一步。