[论文解读] Reflective Oracles: A Foundation for Classical Game Theory

Benja Fallenstein, Jessica Taylor+1 more|arXiv (Cornell University)|Aug 17, 2015

Computability, Logic, AI Algorithms参考文献 2被引用 3

一句话总结

本文引入了反射型或然性预言机——一种概率性预言机，可回答关于访问同一预言机的预言机程序行为的查询——使图灵机能够在其他代理作为非显著组成部分的环境中执行完美的贝叶斯推理。关键结果是，使用此类预言机的代理几乎必然地采取纳什均衡策略，混合策略的概率由预言机固有的随机性产生，从而在不将参与者视为根本特殊的情况下，为经典博弈论提供了基础。

ABSTRACT

Classical game theory treats players as special---a description of a game contains a full, explicit enumeration of all players---even though in the real world, "players" are no more fundamentally special than rocks or clouds. It isn't trivial to find a decision-theoretic foundation for game theory in which an agent's coplayers are a non-distinguished part of the agent's environment. Attempts to model both players and the environment as Turing machines, for example, fail for standard diagonalization reasons. In this paper, we introduce a "reflective" type of oracle, which is able to answer questions about the outputs of oracle machines with access to the same oracle. These oracles avoid diagonalization by answering some queries randomly. We show that machines with access to a reflective oracle can be used to define rational agents using causal decision theory. These agents model their environment as a probabilistic oracle machine, which may contain other agents as a non-distinguished part. We show that if such agents interact, they will play a Nash equilibrium, with the randomization in mixed strategies coming from the randomization in the oracle's answers. This can be seen as providing a foundation for classical game theory in which players aren't special.

研究动机与目标

• 解决经典博弈论中的基础性问题：尽管参与者与环境中的其他物理系统并无本质区别，却仍被视作根本不同的实体。
• 解决在将代理建模为推理彼此确定性行为的图灵机时出现的对角化问题。
• 为博弈论构建一个决策论基础，使代理嵌入于其环境之中，并能将其他代理视为该环境的一部分进行推理。
• 证明使用反射型预言机的代理在多人博弈中实现因果决策理论并收敛至纳什均衡。
• 提供一种形式化框架，支持嵌入式代理的无界理性，阐明有限理性在现实系统中的作用。

提出的方法

• 引入一种反射型预言机，通过概率响应回答关于访问同一预言机的预言机程序输出的查询，以避免对角化问题。
• 定义一种反射原则，使预言机响应的概率与机器输出的实际概率一致，确保一致性。
• 将代理建模为访问反射型预言机的图灵机，使用因果决策理论根据期望效用选择行动。
• 构建一个形式框架，使代理将对手视为概率性环境的一部分，从而在不产生不一致的情况下实现自指推理。
• 证明存在满足强化反射原则的反射型预言机，该原则甚至适用于非停机机器，确保概率推理的一致性。
• 证明当多个代理使用反射型预言机时，其行为因预言机的随机化而收敛至纳什均衡。

实验结果

研究问题

• RQ1 能否构建一个博弈论的决策论基础，使代理不被区别于环境的其余部分？
• RQ2 当代理是共享环境中可计算的过程时，如何推理彼此的行为，同时避免对角化悖论？
• RQ3 反射型预言机能否使代理以一种导致稳定博弈论结果的方式实现因果决策理论？
• RQ4 反射型预言机与多人博弈中的纳什均衡之间存在何种关系？
• RQ5 该框架能否扩展以处理非停机计算和不可计算先验（如索洛莫诺夫归纳）？

主要发现

• 使用反射型预言机的代理实现因果决策理论，并在概率性环境中基于期望效用做出决策。
• 预言机响应中的随机化导致代理行为采用混合策略，其概率与纳什均衡中的概率一致。
• 当多个代理使用反射型预言机相互作用时，其联合行为形成纳什均衡，且每个纳什均衡均可通过某种预言机配置实现。
• 反射型预言机存在，并满足一种强化反射原则，即使对非停机机器也适用，从而确保概率推理的一致性。
• 该框架支持对预测器的建模，这些预测器能推理其自身所嵌入的环境，从而在不可计算设定下实现自指推理。
• 原则上可构建反射型预言机版本的索洛莫诺夫归纳，使对包含预言机的假设的预测成为可能。