[论文解读] Trustworthy AI

Jeannette M. Wing|arXiv (Cornell University)|Feb 14, 2020

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文通过将可信计算的原则应用于人工智能，提出了一套可信AI的框架，以应对人工智能的脆弱性和不公平性。它主张将形式化验证作为确保可靠性、公平性和鲁棒性的核心方法，将可信AI定位为形式化方法的延伸，并在人工智能系统的验证与测试方面提出新的研究挑战。

ABSTRACT

The promise of AI is huge. AI systems have already achieved good enough performance to be in our streets and in our homes. However, they can be brittle and unfair. For society to reap the benefits of AI systems, society needs to be able to trust them. Inspired by decades of progress in trustworthy computing, we suggest what trustworthy properties would be desired of AI systems. By enumerating a set of new research questions, we explore one approach--formal verification--for ensuring trust in AI. Trustworthy AI ups the ante on both trustworthy computing and formal methods.

研究动机与目标

• 通过借鉴可信计算的原则，为可信AI奠定基础，以应对人工智能部署中的系统性风险。
• 识别人工智能系统必须满足的关键可信属性（如可靠性、公平性和鲁棒性），以赢得社会信任。
• 将形式化验证作为核心方法论，确保人工智能系统在各种条件下均能按预期运行。
• 在形式化方法与人工智能的交叉领域定义新的研究挑战，将验证的范围从传统软件扩展至人工智能系统。
• 将可信AI定位为一项关键进展，显著提升形式化方法与可信计算的门槛。

提出的方法

• 将可信计算的原则（如正确性、可用性和完整性）应用于人工智能系统的语境。
• 提出形式化验证作为一种严格技术，用于数学证明人工智能模型和系统的期望属性。
• 将形式化方法与人工智能开发生命周期集成，以验证在边界情况、对抗性输入和分布偏移下的行为。
• 通过抽象和组合推理，将形式化验证扩展至处理基于学习的组件（如神经网络）。
• 使用形式化规格说明来编码机器学习模型中的需求，如公平性、鲁棒性和可解释性。
• 建立一个连接形式化方法与人工智能的研究议程，重点关注复杂、数据驱动系统的可扩展验证技术。

实验结果

研究问题

• RQ1 在人工智能系统中，应优先考虑哪些可信属性（如公平性、鲁棒性和可靠性），以确保社会信任？
• RQ2 如何将形式化验证适应于验证基于学习的人工智能组件（如深度神经网络）？
• RQ3 需要哪些新型验证技术，以应对现代人工智能系统固有的非确定性和数据依赖性？
• RQ4 如何将形式化方法整合到人工智能开发的全生命周期中，以确保端到端的可信性？
• RQ5 当前形式化验证方法在应用于人工智能时存在哪些局限性，以及如何克服这些局限性？

主要发现

• 可信AI需要将形式化验证技术扩展至处理基于学习的系统所特有的挑战，如泛化能力和分布偏移。
• 形式化验证可为人工智能行为提供数学保证，从而在医疗保健和自动驾驶汽车等安全关键应用中增强信心。
• 将形式化方法集成到人工智能开发中，会引入新的研究挑战，特别是在可扩展性和复杂模型的规格编写方面。
• 可信AI提升了可信计算与形式化方法的标准，要求在理论和实践层面实现新的突破。
• 本文指出，迫切需要为人工智能属性（如公平性和鲁棒性）设计专门的形式化规格语言，这些属性难以通过传统软件规格捕捉。
• 该框架将形式化验证定位为并非事后检查，而是可信人工智能系统设计的基础组成部分。