[论文解读] Robust Cooperation in the Prisoner's Dilemma: Program Equilibrium via Provability Logic

Mihály Bárász, Paul F. Christiano+4 more|arXiv (Cornell University)|Jan 22, 2014

Game Theory and Applications参考文献 18被引用 17

一句话总结

本文提出了一类模态代理，通过使用可证明性逻辑来推理对手的源代码，从而在一次性囚徒困境游戏中实现稳健合作。它构建了如PrudentBot等代理，仅在能证明相互合作在逻辑上一致时才选择合作，确保了不可被利用性与鲁棒性，即使源代码在语法上不同亦然，Löb定理使得在反事实推理中能够实现稳定的固定点推理。

ABSTRACT

We consider the one-shot Prisoner's Dilemma between algorithms with read-access to one anothers' source codes, and we use the modal logic of provability to build agents that can achieve mutual cooperation in a manner that is robust, in that cooperation does not require exact equality of the agents' source code, and unexploitable, meaning that such an agent never cooperates when its opponent defects. We construct a general framework for such "modal agents", and study their properties.

研究动机与目标

• 开发在一次性囚徒困境游戏中实现合作的代理，而无需要求源代码完全一致。
• 确保不可被利用性，即当对手背叛时，代理绝不会选择合作。
• 设计通过可证明性逻辑推理而非语法匹配来实现相互合作的代理。
• 通过模态逻辑形式化程序均衡的框架，实现在博弈论情境下的稳定反事实推理。

提出的方法

• 使用Gödel-Löb模态逻辑（GL）来形式化代理对合作可证明性的推理。
• 基于可证明性条件定义代理，如FairBot和PrudentBot：例如，若系统能证明对手将合作，则选择合作。
• 应用Löb定理以确保固定点一致性：若系统证明合作将导致相互合作，则合作实际上会发生。
• 构建通过逻辑公式推理对手源代码的模态代理，通过可证明性检查避免无限递归。
• 使用quining和自指技术将逻辑条件嵌入代理行为。
• 建立模态代理的一般框架，其中行动由涉及对手行为的逻辑公式的可证明性决定。

实验结果

研究问题

• RQ1 我们能否设计出在一次性囚徒困境中实现稳健合作的代理，而无需源代码在语法上完全相同？
• RQ2 如何确保代理在对手背叛时绝不会合作，从而实现不可被利用性？
• RQ3 可证明性逻辑能否为程序均衡中的反事实推理提供稳定基础？
• RQ4 何种逻辑条件可使代理在语义上不同但逻辑上一致时仍实现相互合作？
• RQ5 模态代理如何扩展至超越囚徒困境的更复杂博弈？

主要发现

• PrudentBot能与FairBot和CooperateBot实现相互合作，同时保持不可被利用性，因为它仅在能证明对手不会背叛时才选择合作。
• 使用可证明性逻辑可实现反事实推理中的稳定固定点，避免相互模拟中的无限递归。
• Löb定理确保：若系统证明合作将导致相互合作，则合作实际上会发生，从而提供逻辑一致性。
• 可构建模态代理，使其与一大类语义上不同但逻辑上一致的代理合作，而不仅限于语法完全相同的代理。
• 只要保持逻辑一致性，该框架即使在代理可访问彼此源代码的情况下，也能支持稳健合作。
• 该方法表明，在基于可证明性的推理下，一次性博弈中不可被利用且稳健的合作在逻辑上是可能的。