[论文解读] QB4AIRA: A Question Bank for AI Risk Assessment

Sung Une Lee, Harsha Perera+6 more|arXiv (Cornell University)|May 16, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

QB4AIRA 是一个经过筛选的 293 个问题的问答库，用于人工智能风险评估，其内容源自五个全球人工智能伦理框架，并围绕澳大利亚的人工智能伦理原则构建。它通过分层分类、决策树和概念映射，实现系统化、无利益相关者偏见的风险评估，支持人工评估以及与人工智能驱动的风险聊天机器人的集成。

ABSTRACT

The rapid advancement of Artificial Intelligence (AI), represented by ChatGPT, has raised concerns about responsible AI development and utilization. Existing frameworks lack a comprehensive synthesis of AI risk assessment questions. To address this, we introduce QB4AIRA, a novel question bank developed by refining questions from five globally recognized AI risk frameworks, categorized according to Australia's AI ethics principles. QB4AIRA comprises 293 prioritized questions covering a wide range of AI risk areas, facilitating effective risk assessment. It serves as a valuable resource for stakeholders in assessing and managing AI risks, while paving the way for new risk frameworks and guidelines. By promoting responsible AI practices, QB4AIRA contributes to responsible AI deployment, mitigating potential risks and harms.

研究动机与目标

• 解决当前缺乏一个全面、互联且标准化的人工智能风险评估问题库的问题，该问题库需涵盖多种人工智能伦理原则和框架。
• 整合并优化来自五个全球公认的人工智能风险评估框架（包括 NIST、欧盟可信人工智能评估清单和微软的 RAI 指南）的风险评估问题。
• 将生成的问题围绕澳大利亚的人工智能伦理原则进行结构化，确保与广泛接受的伦理标准保持一致，并提升对多样化利益相关者的可用性。
• 通过真实世界案例研究（包括风险评估会议和原型智能风险评估聊天机器人）评估 QB4AIRA 的有效性。
• 识别当前风险评估实践中的关键缺陷，如缺乏分阶段的问题和风险度量指标，并为框架的未来改进提供依据。

提出的方法

• 对五个全球公认的人工智能风险评估框架（NIST AI RMF、欧盟可信人工智能评估清单、加拿大的 AIA、新南威尔士州人工智能保障框架以及微软的 RAI 影响评估指南）进行了对比分析。
• 将初始的 382 个问题精炼为 293 个，通过消除重复、提升清晰度并确保与核心人工智能伦理原则的一致性。
• 将问题归类至八个原则之下：人类与社会福祉（P1）、以人为本的价值观（P2）、公平性（P3）、隐私与安全（P4）、可靠性与安全性（P5）、透明性与可解释性（P6）、可申诉性（P7）以及问责制（P8），每个原则均配有两位数字标识符。
• 应用概念映射以识别反复出现的风险主题，并使用决策树逻辑，根据风险等级和顺序对问题进行分层结构化。
• 开发了一个风险登记表模板，包含风险 ID、类别、标题、描述、成因以及源自 QB4AIRA 的访谈问题，用于评估会议中使用。
• 将 QB4AIRA 集成至一个原型智能风险评估聊天机器人（SRA）中，利用基于 300 多个 AI 事故案例构建的知识图谱，并使用 GPT-3.5 作为基础模型生成响应。

实验结果

研究问题

• RQ1 如何从多个现有全球框架中整合并构建一个全面、标准化的人工智能风险评估问题库，同时保留其核心意图并增强问题间的连通性？
• RQ2 QB4AIRA 在多大程度上能够支持在不同项目阶段和组织角色下进行有效、结构化且无利益相关者偏见的人工智能风险评估？
• RQ3 当前人工智能风险评估实践中的主要局限是什么？QB4AIRA 如何改进以应对这些局限，特别是针对项目阶段的匹配性和风险量化？
• RQ4 QB4AIRA 是否能够有效集成至人工智能驱动的工具中，以实现动态、上下文感知的风险评估，并提升非专家用户的可访问性？
• RQ5 基于原则且可扩展的问题库在塑造未来人工智能风险框架和监管合规（如欧盟人工智能法案或 ISO 标准）方面将发挥何种作用？

主要发现

• QB4AIRA 已成功将五个主要人工智能风险框架中的 382 个问题整合为 293 个优先级明确、无冗余且清晰分类的问题，这些均与澳大利亚的人工智能伦理原则保持一致。
• 案例研究 1 显示，PR4 和 PR8 等项目在隐私、可靠性和透明度方面表现出高风险，而大多数项目在可申诉性方面的风险较低，凸显了分阶段风险问题的必要性。
• 利益相关者指出，QB4AIRA 当前的结构缺乏与项目开发阶段的整合，建议未来版本应加入阶段感知的过滤机制，以提升上下文相关性和评估准确性。
• 原型智能风险评估工具（SRA）证明了将 QB4AIRA 用作基于知识图谱的聊天机器人输入的可行性，实现了分层风险评估、决策树导航以及根据用户上下文动态选择问题。
• 反馈强调 QB4AIRA 缺乏具体的量化风险指标，表明这是未来开发中的关键缺口，以支持可量化的风险评分并减少评估中的主观判断。
• QB4AIRA 设计为可扩展，未来计划整合新兴标准（如欧盟人工智能法案和 ISO/IEC 42125），以增强其长期适用性和监管一致性。