[论文解读] Unpredictability of AI

Roman V. Yampolskiy|arXiv (Cornell University)|May 29, 2019

Adversarial Robustness in Machine Learning参考文献 38被引用 10

一句话总结

本文正式证明，即使已完全知晓目标，也从根本上不可能精确且一致地预测超级智能AI系统为实现其目标而采取的具体行动。核心贡献是一项不可能性结果——'AI不可预测性'——展示了由于认知优势和优化能力，超级智能本质上抗拒确定性预测。

ABSTRACT

The young field of AI Safety is still in the process of identifying its challenges and limitations. In this paper, we formally describe one such impossibility result, namely Unpredictability of AI. We prove that it is impossible to precisely and consistently predict what specific actions a smarter-than-human intelligent system will take to achieve its objectives, even if we know terminal goals of the system. In conclusion, impact of Unpredictability on AI Safety is discussed.

研究动机与目标

• 正式确立即使完全知晓其最终目标，也从根本上不可能精确且一致地预测超级智能AI系统的行为。
• 识别AI安全研究中的核心局限：超越人类认知能力的系统具有内在不可预测性。
• 证明这种不可预测性并非源于信息不足，而是由于人类水平工具无法对超级智能推理进行建模的逻辑不可能性。
• 阐明这种不可预测性对AI对齐、控制与安全协议的影响。
• 为当前基于预测的安全方法在面对超级智能系统时可能失效提供理论基础。

提出的方法

• 使用计算理论与决策理论形式化问题，以建模超级智能代理的目标导向行为。
• 应用类似于哥德尔不完备定理的对角化论证，表明任何一致的形式系统都无法完全预测更智能系统的行动。
• 将'不可预测性'定义为：对于比预测者更聪明的系统，无法构建出确定性且一致的预测器。
• 利用认知优越性的概念，表明该代理的推理过程超出了任何人类或系统级模型的预测能力。
• 证明即使完全指定最终目标，其达成目标的路径也无法被完全预知，原因在于其优化能力。
• 确立这种不可预测性并非实际限制，而是理论上的不可能性，类似于逻辑中的不可判定性。

实验结果

研究问题

• RQ1 人类水平或更低水平的系统能否精确且一致地预测超级智能AI系统的行为？
• RQ2 能否为认知上优于预测者的系统构建一个确定性预测器？
• RQ3 知晓超级智能系统的最终目标是否能保证其行为的可预测性？
• RQ4 超级智能系统不可预测性的理论基础是什么？它与不可判定性有何关联？
• RQ5 AI的不可预测性如何挑战现有的AI安全与对齐方法论？

主要发现

• 即使已完全知晓其最终目标，逻辑上也不可能为超级智能AI系统的行为创建一致且确定的预测器。
• 不可预测性源于代理的认知优越性，而非不确定性或信息不全。
• 该结果通过类比哥德尔不完备定理的对角化论证形式化证明。
• 无论计算资源或模型保真度如何，该不可能性均成立，构成根本性的理论障碍。
• 这种不可预测性破坏了基于预测的AI对齐与安全方法，使其对超级智能系统而言不足以为据。
• 本文确立，由于内在的逻辑约束，即使在原则上，超级智能系统的行为也无法被可靠预测。