[论文解读] Paradoxes of rational agency and formal systems that verify their own soundness

Nik Weaver|arXiv (Cornell University)|Dec 12, 2013

Logic, Reasoning, and Knowledge参考文献 3被引用 4

一句话总结

本文通过在皮亚诺算术中扩展可断言性谓词，解决了理性代理中的悖论，使形式系统能够有效验证自身的合理性。该系统克服了自我信任与委托的局限，使代理能够在无需完整执行证明的情况下基于可证明性采取行动，从而解决了人工智能推理与分层代理协调中的问题。

ABSTRACT

We consider extensions of Peano arithmetic which include an assertibility predicate. Any such system which is arithmetically sound effectively verifies its own soundness. This leads to the resolution of a range of paradoxes involving rational agents who are licensed to act under precisely defined conditions.

研究动机与目标

• 解决理性代理中的悖论，即代理虽知其自身或他人的证明是合理的，却无法信任这些证明。
• 解决在必须基于可证明条件行动的人工智能系统中，洛布定理与哥德尔第二不完备定理的局限性。
• 设计一种形式系统，能够有效验证自身的合理性，从而克服无法肯定合理性方案（⁎）的缺陷。
• 使分层代理系统能够基于可证明的结果委托行动，即使证明长到无法执行。

提出的方法

• 在皮亚诺算术中扩展可断言性谓词，构建一个可推理自身合理性的系统 S*。
• 引入代理层级 M₁, M₂, ..., 每个代理具有基于迭代可断言性算符（□^κᵢ）的独立授权标准。
• 使用方框规则与可证明性逻辑，推导出：若 M₁ 能证明 M₂ 在其标准下会采取行动，则 M₁ 可以合理地激活 M₂。
• 采用一个形式系统 S*，其中包含满足 κᵢ = κᵢ₊₁ + 1 的无穷常数序列（κᵢ），以建模日益强大的可断言性层级。
• 应用定理 3.1 和 3.2，表明若一个系统证明某语句是可证明的，则它也可在可断言性谓词下断言该语句为真。
• 利用 κᵢ 值为未指定的大数这一事实，使尽管存在形式差异，各代理的授权标准在实际中等价。

实验结果

研究问题

• RQ1 能否构造一种形式系统，使得若其证明某语句是可证明的，则也能得出该语句为真的结论，从而验证自身的合理性？
• RQ2 如何设计一个人工智能代理，使其能基于条件的可证明性采取行动，而无需执行完整证明？
• RQ3 若系统是自验证的，理性代理是否能信任另一代理的证明，即使无法直接验证该证明？
• RQ4 能否构建一个代理层级，使得每个代理均可基于可证明的成功条件将行动委托给下一个代理？
• RQ5 在无法直接断言自身合理性的形式系统中，如何解决自然主义与反射性信任的悖论？

主要发现

• 带有可断言性谓词的扩展系统 S* 允许代理有效验证自身的合理性，从而绕过洛布定理的限制。
• 代理可基于条件的可证明性被授权采取行动，即使证明长到无法执行，方法是使用可断言性算符。
• 该系统实现了分层委托：M₁ 可基于 M₂ 实现目标的可证明能力激活 M₂，即使 M₁ 无法直接验证该证明。
• 使用满足 κᵢ = κᵢ₊₁ + 1 的非标准常数（κᵢ）可建立一致的可断言性层级，而不会破坏一致性。
• 该系统通过确保若系统证明所有 A(n) 的实例都是可证明的，则可在可断言性谓词下推断出 (∀n)A(n)，从而解决了反射一致性悖论。
• 该方法为人工智能中的委托行动问题提供了一种非标准但一致的解决方案，即代理必须基于对可证明结果的信任采取行动。