[论文解读] Opening the Software Engineering Toolbox for the Assessment of Trustworthy AI

Mohit Kumar Ahuja, Mohamed-Bachir Belaid+8 more|arXiv (Cornell University)|Jul 14, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用 6

一句话总结

本文提出将成熟的软件工程实践——尤其是测试、需求分析和自动化监控——整合到可信人工智能的评估中。通过将欧盟AI HLEG的七个关键可信性要求映射到现有的软件工程技术，作者表明，软件工程工具箱为以系统化、可重复且利益相关者可访问的方式评估人工智能系统的可信性，提供了成熟、可扩展且可适应的基础。

ABSTRACT

Trustworthiness is a central requirement for the acceptance and success of human-centered artificial intelligence (AI). To deem an AI system as trustworthy, it is crucial to assess its behaviour and characteristics against a gold standard of Trustworthy AI, consisting of guidelines, requirements, or only expectations. While AI systems are highly complex, their implementations are still based on software. The software engineering community has a long-established toolbox for the assessment of software systems, especially in the context of software testing. In this paper, we argue for the application of software engineering and testing practices for the assessment of trustworthy AI. We make the connection between the seven key requirements as defined by the European Commission's AI high-level expert group and established procedures from software engineering and raise questions for future work.

研究动机与目标

• 解决在现实应用中对人工智能可信性进行系统化、可重复且透明评估的日益增长的需求。
• 识别当前软件工程实践与现代人工智能系统带来的独特挑战之间的差距，特别是在公平性、问责制和可解释性方面。
• 提出一个将软件工程方法（如需求分析、自动化测试和监控）整合到可信人工智能开发生命周期中的框架。
• 通过标准化、可量化的评估指标和徽章，使利益相关者（包括非专家）能够评估和理解人工智能的可信性。

提出的方法

• 将欧盟AI HLEG指南中的七个关键可信性要求映射到相应的软件工程实践，如需求工程、代码审查和测试用例设计。
• 应用自动化测试技术来评估技术鲁棒性，包括对抗性输入的抗性以及模型在边界情况下的行为。
• 使用检查清单和形式化的验收标准，将公平性和问责制等抽象可信性原则转化为可测试的条件。
• 通过代码和数据审查、回顾会议以及带 instrumentation 的日志记录，在开发过程中集成持续监控，以跟踪可信性指标。
• 提出评分或徽章系统，以总结可信性评估结果，从而实现不同利益相关者之间的可比性和透明度。
• 利用区块链技术作为潜在机制，支持人工智能系统中的数据所有权、可审计性和问责制。

实验结果

研究问题

• RQ1 既有的软件工程技术能否有效适应评估欧盟AI HLEG定义的人工智能可信性？
• RQ2 自动化测试和监控工具在多大程度上可用于评估公平性、鲁棒性和问责制等非功能性人工智能特性？
• RQ3 当前的软件工程工具链需要做出哪些调整，以应对现代人工智能的独特特性，如黑箱模型和数据驱动行为？
• RQ4 如何使可信性评估结果对非技术利益相关者（包括最终用户和监管机构）可访问且可理解？
• RQ5 标准化评分或认证机制（例如徽章）在实现跨系统比较和增强人工智能信任方面发挥什么作用？

主要发现

• 软件工程工具箱——尤其是测试、需求分析和监控——为评估可信人工智能提供了成熟且可重用的基础。
• 许多可信性要求，如技术鲁棒性和公平性，可通过自动化测试用例和对抗性输入生成来评估。
• 将可信性标准形式化为检查清单和可测试的验收标准，可提高评估的可重复性并减少歧义。
• 通过代码和数据审查以及回顾性评估实现的持续监控，有助于在开发过程中持续保持对可信性的关注并推动改进。
• 标准化的评分或徽章系统可提高不同人工智能系统和利益相关者之间可信性评估的透明度和可比性。
• 基于区块链的系统在实现数据所有权和问责制方面具有潜力，特别是在涉及个人数据和同意管理的场景中。