[论文解读] Parametric Bounded Löb's Theorem and Robust Cooperation of Bounded Agents

Andrew Critch|arXiv (Cornell University)|Feb 12, 2016

Game Theory and Applications参考文献 10被引用 3

一句话总结

本文提出了一种参数化且有界的Löb定理版本，适用于能够相互分析源代码的资源受限智能体。它表明，像FairBot_k这样的智能体可以通过在有界长度内进行证明搜索，而非依赖脆弱的相等性检查，在囚徒困境中实现相互合作，从而形成比经典纳什均衡更优的稳健程序均衡。

ABSTRACT

Löb's theorem and Gödel's theorems make predictions about the behavior of systems capable of self-reference with unbounded computational resources with which to write and evaluate proofs. However, in the real world, systems capable of self-reference will have limited memory and processing speed, so in this paper we introduce an effective version of Löb's theorem which is applicable given such bounded resources. These results have powerful implications for the game theory of bounded agents who are able to write proofs about themselves and one another, including the capacity to out-perform classical Nash equilibria and correlated equilibria, attaining mutually cooperative program equilibrium in the Prisoner's Dilemma. Previous cooperative program equilibria studied by Tennenholtz (2004) and Fortnow (2009) have depended on tests for program equality, a fragile condition, whereas "Löbian" cooperation is much more robust and agnostic of the opponent's implementation.

研究动机与目标

• 为计算资源有限的智能体开发一个有界且有效的Löb定理版本。
• 使能够检查彼此源代码的智能体在博弈论情境中实现稳健合作。
• 克服以往合作程序均衡所依赖的精确程序相等性所带来的脆弱性。
• 证明即使在一次性博弈中，当智能体使用有界证明搜索时，相互合作仍可出现。
• 通过展示在透明性和有界推理条件下，合作可以是逻辑上一致且战略上最优的，从而挑战经典博弈论直觉。

提出的方法

• 引入FairBot_k，一种在其对手将合作的证明长度≤k时进行搜索的智能体。
• 通过参数化边界k来建模计算资源限制。
• 应用有界版本的Löb定理，证明若在k个符号内存在证明，则该智能体会选择合作。
• 通过证明当k足够大时，可推导出FairBot_k之间相互合作的证明，分析其相互合作。
• 证明结果（C,C）在有界推理下具有逻辑一致性与稳定性，即使没有智能体率先行动。
• 重新构想透明智能体环境中的决策机制，通过表明逻辑依赖性超越因果独立性，挑战因果决策理论。

实验结果

研究问题

• RQ1 能否为具有有限内存和处理速度的智能体制定一个有界的Löb定理版本？
• RQ2 在何种条件下，两个有界智能体可通过证明搜索在囚徒困境中实现相互合作？
• RQ3 有界证明搜索如何导致对微小代码变更具有鲁棒性的稳定合作均衡？
• RQ4 智能体决策之间的逻辑依赖性是否可以超越战略决策中的因果独立性？
• RQ5 此类合作对设计具备自指涉与相互推理能力的先进人工智能系统有何启示？

主要发现

• 当k大到足以包含相互合作的证明时，FairBot_k能与自身实现相互合作，尽管没有智能体率先发起合作。
• 结果（C,C）在有界推理下具有逻辑一致性与稳定性，这由参数化Löb定理所证明。
• 合作并非源于程序相等性检查，而是源于对彼此行为的共享逻辑推理，使其对实现细节的微小差异具有鲁棒性。
• 该结果意味着智能体可实现超越经典纳什均衡与相关均衡的合作程序均衡，尤其在一次性博弈中表现更优。
• 证明搜索作为一种逻辑机制，使合作在缺乏因果影响的情况下仍能实现，挑战了因果决策理论的假设。
• 有界Löb定理为在资源有限的透明自指系统中设计合作智能体提供了形式化基础。