[论文解读] Predictable Artificial Intelligence

Lexin Zhou, Pablo A. Moreno-Casares+13 more|arXiv (Cornell University)|Oct 9, 2023

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

本文提出了可预测人工智能（Predictable AI）这一新的研究方向，聚焦于在部署前预测人工智能系统的各项关键有效性指标——如性能、安全性和对齐性。它将可预测性正式确立为核心原则，主张优先考虑可预测性而非单纯性能，以增强人工智能生态中的信任、控制与安全性，并提出了构建在各种配置下可靠可预测的人工智能系统的框架、预测器及权衡机制。

ABSTRACT

We introduce the fundamental ideas and challenges of Predictable AI, a nascent research area that explores the ways in which we can anticipate key validity indicators (e.g., performance, safety) of present and future AI ecosystems. We argue that achieving predictability is crucial for fostering trust, liability, control, alignment and safety of AI ecosystems, and thus should be prioritised over performance. We formally characterise predictability, explore its most relevant components, illustrate what can be predicted, describe alternative candidates for predictors, as well as the trade-offs between maximising validity and predictability. To illustrate these concepts, we bring an array of illustrative examples covering diverse ecosystem configurations. Predictable AI is related to other areas of technical and non-technical AI research, but have distinctive questions, hypotheses, techniques and challenges. This paper aims to elucidate them, calls for identifying paths towards a landscape of predictably valid AI systems and outlines the potential impact of this emergent field.

研究动机与目标

• 将可预测性确立为人工智能开发中的基础性原则，优先于性能，以确保信任与安全。
• 正式定义人工智能系统中的可预测性，并识别其核心组成部分与有效性指标。
• 探索在多样化生态系统配置下，最大化人工智能系统有效性与确保其可预测性之间的权衡。
• 将可预测AI与可解释性、对齐性等相关领域区分开来，突出其独特的研究问题与方法论挑战。
• 描绘可预测有效人工智能系统的全景图，并规划未来研究的路径。

提出的方法

• 将可预测性形式化为预测人工智能系统关键有效性指标（如性能、安全性）的能力。
• 识别潜在预测器（如模型架构、训练数据、系统监控机制），以支持对未来行为的预测。
• 开发一个框架，用于评估最大化系统有效性与确保可预测性之间的权衡。
• 通过多样化人工智能生态系统配置中的实例说明，展示可预测性在实践中如何实现。
• 整合技术与非技术方法，包括治理、监控与反馈回路，以增强可预测性。
• 通过不同的假设与研究问题，将可预测AI与可解释性、鲁棒性及对齐性等相关领域区分开来。

实验结果

研究问题

• RQ1 我们如何正式定义并衡量人工智能系统中的可预测性，特别是针对性能与安全性的预测？
• RQ2 在复杂的人工智能生态系统中，哪些是最有效的关键有效性指标预测器？
• RQ3 在最大化人工智能系统有效性与确保其可预测性之间存在哪些权衡？
• RQ4 可预测AI与现有人工智能研究领域（如可解释性、鲁棒性与对齐性）有何不同？
• RQ5 哪些系统性与架构设计选择能够支持在多样化部署环境中构建可预测有效的AI系统？

主要发现

• 可预测性是人工智能中一个独特且至关重要的维度，必须优先于性能，以确保长期的信任与安全。
• 形式化可预测性使得能够系统性地评估人工智能系统未来行为，包括风险与可靠性。
• 训练数据质量、模型架构与运行时监控等预测器可显著提升对系统有效性的前瞻性判断。
• 有效性与可预测性之间的权衡是固有的，必须通过精心设计与治理来管理。
• 可预测AI引入了一个具有独特挑战、技术与假设的新研究领域，与对齐性和可解释性有明显区别。
• 实例说明表明，可预测性在包括自主系统与决策支持工具在内的多样化人工智能生态系统中是可实现的。