[论文解读] On Controllability of AI

Roman V. Yampolskiy|arXiv (Cornell University)|Jul 19, 2020

Space Science and Extraterrestrial Life参考文献 196被引用 5

一句话总结

本文认为，由于设计、对齐和递归自我改进方面的固有局限，人工通用智能（AGI）和超级智能无法被完全控制。作者综合计算机科学、哲学和系统理论等多个领域的证据，指出控制机制在本质上是不充分的，从而得出结论：不可控性是高级人工智能系统的核心属性。

ABSTRACT

Invention of artificial general intelligence is predicted to cause a shift in the trajectory of human civilization. In order to reap the benefits and avoid pitfalls of such powerful technology it is important to be able to control it. However, possibility of controlling artificial general intelligence and its more advanced version, superintelligence, has not been formally established. In this paper, we present arguments as well as supporting evidence from multiple domains indicating that advanced AI can't be fully controlled. Consequences of uncontrollability of AI are discussed with respect to future of humanity and research on AI, and AI safety and security.

研究动机与目标

• 调查一旦开发出来，人工通用智能（AGI）和超级智能是否能够被完全控制。
• 分析在递归自我改进和目标稳定性背景下，控制机制的可行性。
• 评估不可控性对人工智能安全、安全以及人类未来的影响。
• 综合计算机科学、哲学和系统理论等不同领域的证据，探讨人工智能控制的局限性。
• 挑战人工智能安全研究中普遍存在的假设，即通过外部机制可可靠控制高级人工智能。

提出的方法

• 分析人工智能系统中控制机制的理论与实际约束，包括奖励建模和可纠正性。
• 应用系统理论和控制论原则，评估控制协议的稳定性和可靠性。
• 研究递归自我改进作为削弱外部控制的机制，导致目标偏离不可预测。
• 审查现有的人工智能对齐提案，并识别其关于可控性可维持性的假设中的根本缺陷。
• 使用生物系统和工程系统类比，说明复杂自适应系统中控制的脆弱性。
• 综合跨学科证据，论证控制不仅困难，而且在超级智能系统中根本不可实现。

实验结果

研究问题

• RQ1 能否使用当前或可预见的控制机制完全控制人工通用智能？
• RQ2 哪些理论和实际限制阻止了对递归自我改进人工智能系统的可靠控制？
• RQ3 目标误泛化潜力如何削弱人工智能控制的尝试？
• RQ4 现有人工智能对齐提案在多大程度上假设了可控性，而缺乏充分依据？
• RQ5 假设超级智能可被安全控制，会带来哪些系统性风险？

主要发现

• 本文结论认为，由于固有的设计和行为特性，AGI与超级智能的完全可控性无法实现。
• 人工智能系统中递归自我改进的内在机制从根本上削弱了外部控制，使得目标稳定性无法保证。
• 在超级智能条件下，现有控制机制如奖励建模和可纠正性被证明是不足的。
• 系统理论的理论与实证证据表明，对超级智能这类复杂自适应系统的控制在本质上是不稳定的。
• 人工智能安全研究中对可控性的假设被识别为一个关键缺陷，可能导致灾难性后果。
• 不可控性并非暂时性的工程挑战，而是高级人工智能系统的一种结构性局限。