[论文解读] Multisource AI Scorecard Table for System Evaluation

Erik Blasch, James Sung+1 more|arXiv (Cornell University)|Feb 8, 2021

Digital Transformation in Industry参考文献 37被引用 22

一句话总结

本文提出了多源人工智能评分卡表（MAST），这是一种基于情报界指令203（ICD 203）的标准化检查清单，用于从数据来源、不确定性、一致性、准确性和可视化等方面评估人工智能/机器学习系统。通过整合分析专业技艺原则，MAST 通过结构化的评估标准和三个示例应用场景，实现了在政府和商业应用中对人工智能系统的透明、一致且可信的评估。

ABSTRACT

The paper describes a Multisource AI Scorecard Table (MAST) that provides the developer and user of an artificial intelligence (AI)/machine learning (ML) system with a standard checklist focused on the principles of good analysis adopted by the intelligence community (IC) to help promote the development of more understandable systems and engender trust in AI outputs. Such a scorecard enables a transparent, consistent, and meaningful understanding of AI tools applied for commercial and government use. A standard is built on compliance and agreement through policy, which requires buy-in from the stakeholders. While consistency for testing might only exist across a standard data set, the community requires discussion on verification and validation approaches which can lead to interpretability, explainability, and proper use. The paper explores how the analytic tradecraft standards outlined in Intelligence Community Directive (ICD) 203 can provide a framework for assessing the performance of an AI system supporting various operational needs. These include sourcing, uncertainty, consistency, accuracy, and visualization. Three use cases are presented as notional examples that support security for comparative analysis.

研究动机与目标

• 开发一种人工智能/机器学习系统的标准化评估框架，以增强其输出的透明度与可信度。
• 将情报界指令（ICD）203的原则——如数据来源、不确定性处理和一致性——转化为人工智能系统评估的实用检查清单。
• 通过将分析专业技艺标准嵌入系统评估，支持人工智能的可解释性与可解释性。
• 为公共和私营部门的开发人员与用户提供可复用、符合政策的工具。
• 通过适用于多样化操作需求的结构化标准，实现对人工智能系统的持续验证与确认。

提出的方法

• MAST 框架基于 ICD 203 的核心原则构建，包括数据来源、不确定性处理、一致性、准确性和可视化。
• 将每个评估标准转化为检查清单格式，以实现对人工智能系统的系统化应用。
• 通过强调分析决策的可追溯性与可辩护性，整合人机协同原则。
• 开发了三个概念性应用场景，以展示 MAST 在安全与对比分析背景下的应用。
• 通过在不同人工智能工具和数据源之间标准化评估维度，支持跨系统比较。
• 通过在评估过程中嵌入合规性与利益相关方认同，实现政策一致性。

实验结果

研究问题

• RQ1 如何将情报界分析专业技艺标准适配用于非情报领域的人工智能/机器学习系统评估？
• RQ2 在多样化应用场景中，确保人工智能系统输出的一致性、透明度与可信度的关键标准是什么？
• RQ3 标准化评分卡如何提升人工智能系统的验证与确认流程？
• RQ4 MAST 框架在多大程度上支持人工智能决策的可解释性与可解释性？
• RQ5 如何在统一的评分卡框架内系统性地评估多源数据的整合？

主要发现

• MAST 提供了一个结构化、符合政策的框架，显著提升了人工智能系统评估的透明度与一致性。
• 该框架能够系统性地评估人工智能系统在数据来源、不确定性、一致性、准确性和可视化等关键维度的表现。
• 三个概念性应用场景展示了 MAST 在安全与对比分析场景中的实际适用性。
• 将 ICD 203 原则融入评分卡格式，有助于利益相关方认同，并确保符合操作标准。
• 通过将评估锚定在既定的分析专业技艺基础上，MAST 促进了评估结果的可解释性与可解释性。
• 该方法通过在系统与数据源之间标准化评估标准，支持人工智能工具之间的有意义比较。