[论文解读] Unexplainability and Incomprehensibility of Artificial Intelligence

Roman V. Yampolskiy|arXiv (Cornell University)|Jun 20, 2019

Explainable Artificial Intelligence (XAI)参考文献 81被引用 10

一句话总结

本文提出了两个理论上的不可能性结果——不可解释性（Unexplainability）与不可理解性（Incomprehensibility）——证明了先进的人工智能系统在本质上无法对所有决策提供准确的解释，且即使提供了解释，人类也可能无法理解。核心贡献在于形式化论证了在高度智能的AI中，可解释性与可理解性存在根本性限制，挑战了人工智能安全与可解释性研究中的既有假设。

ABSTRACT

Explainability and comprehensibility of AI are important requirements for intelligent systems deployed in real-world domains. Users want and frequently need to understand how decisions impacting them are made. Similarly it is important to understand how an intelligent system functions for safety and security reasons. In this paper, we describe two complementary impossibility results (Unexplainability and Incomprehensibility), essentially showing that advanced AIs would not be able to accurately explain some of their decisions and for the decisions they could explain people would not understand some of those explanations.

研究动机与目标

• 探究人工智能系统在可解释性与可理解性方面的根本限制。
• 回应个体与社会日益增长的对AI决策透明度的需求。
• 考察先进AI系统是否能够同时对人类实现可解释性与可理解性。
• 形式化论证在高级AI中实现完全可解释性与可理解性的理论不可能性。

提出的方法

• 本文基于计算理论与认知科学，形式化提出了两个不可能性结果：不可解释性与不可理解性。
• 不可解释性源于某些AI决策涉及复杂、非线性的推理过程，超出了人类认知能力的表达范围。
• 不可理解性源于AI解释的结构与人类认知处理能力之间的不匹配。
• 论证结合了计算复杂性理论、认知科学以及心智理论的概念，表明解释虽在逻辑上正确，但可能在认知上不可及。
• 分析采用逻辑与理论推理，而非实证或实验方法。
• 本文依赖形式化推理，表明即使AI能够生成解释，也可能因人类固有的认知局限而无法被理解。

实验结果

研究问题

• RQ1 先进人工智能系统能否对其所有决策提供准确且完整的解释？
• RQ2 人类认知局限在多大程度上构成理解AI生成解释的障碍？
• RQ3 在复杂度达到某一水平后，是否存在智能系统可解释性的理论极限？
• RQ4 当AI决策过程高度复杂时，其是否能同时对人类实现可解释性与可理解性？
• RQ5 不可解释性与不可理解性对AI安全、伦理以及高风险领域部署有何影响？

主要发现

• 本文确立了由于内部推理过程的复杂性，先进AI系统在本质上可能存在不可解释性。
• 即使生成了解释，也可能因与人类认知架构不匹配而对人类不可理解。
• 不可能性结果为理论性，不基于实证数据，但建立在计算与认知能力限制的基础之上。
• 研究结果表明，可解释性无法作为通用人工智能或超级智能系统的设计目标被保证。
• 结果挑战了即使在最优设计下可解释性也始终可实现的假设。
• 本文暗示，将可解释性作为安全机制依赖可能不足以应对未来高级AI系统。