[论文解读] Quantitative AI Risk Assessments: Opportunities and Challenges

David Piorkowski, Michael Hind+1 more|arXiv (Cornell University)|Sep 13, 2022

Occupational Health and Safety Research被引用 7

一句话总结

本文提出了一套定量AI风险评估框架，可在无法获取模型训练数据或开发历史的情况下，通过可观测的输入输出来评估预训练AI模型在公平性、鲁棒性及准确性等维度上的风险。其核心贡献在于提出一种标准化、基于指标的评估方法，实现客观、可比且可操作的风险评估，以支持监管合规与治理。

ABSTRACT

Although AI systems are increasingly being leveraged to provide value to organizations, individuals, and society, significant attendant risks have been identified and have manifested. These risks have led to proposed regulations, litigation, and general societal concerns. As with any promising technology, organizations want to benefit from the positive capabilities of AI technology while reducing the risks. The best way to reduce risks is to implement comprehensive AI lifecycle governance where policies and procedures are described and enforced during the design, development, deployment, and monitoring of an AI system. Although support for comprehensive governance is beginning to emerge, organizations often need to identify the risks of deploying an already-built model without knowledge of how it was constructed or access to its original developers. Such an assessment will quantitatively assess the risks of an existing model in a manner analogous to how a home inspector might assess the risks of an already-built home or a physician might assess overall patient health based on a battery of tests. Several AI risks can be quantified using metrics from the technical community. However, there are numerous issues in deciding how these metrics can be leveraged to create a quantitative AI risk assessment. This paper explores these issues, focusing on the opportunities, challenges, and potential impacts of such an approach, and discussing how it might influence AI regulations.

研究动机与目标

• 为应对日益增长的对AI系统客观、可度量风险评估的需求，特别是在缺乏原始开发细节的情况下。
• 开发一种实用且标准化的方法，仅基于可观测行为评估AI模型风险，类似于房屋或汽车的检测。
• 通过提供可量化的指标，补充定性风险评估，支持监管合规与组织治理。
• 识别并解决标准化以实现跨模型比较与针对特定应用场景的定制化之间的张力。
• 通过将定量指标整合到金融、医疗等领域的现有风险管理流程中，推动AI风险评估的广泛应用。

提出的方法

• 定义五个核心风险维度：公平性、对抗攻击下的鲁棒性、准确性、数据效率与模型效率。
• 利用现有评估技术（如对抗测试、公平性指标（例如：人口均等性）和准确性基准）为每个风险维度开发可度量的指标。
• 提出一种综合评分系统，将各项指标聚合为统一的风险评分，实现跨模型比较。
• 设计评估过程仅需推理级别访问——即发送输入并观察输出——最大限度减少对数据和模型的访问需求。
• 通过模块化、可扩展的技术组件，将框架与现有AI治理流程集成。
• 通过允许模型所有者或审计员使用评估工具，解决访问控制、数据隐私与模型所有权相关挑战。

实验结果

研究问题

• RQ1 如何对无法访问训练数据、超参数或开发历史的AI模型实现定量风险评估？
• RQ2 哪些指标与聚合策略能够实现在多样化AI系统间一致、可比且有意义的风险评分？
• RQ3 如何在实现指标标准化的同时，满足基于特定部署环境与风险特征的定制化需求？
• RQ4 在实际应用中，此类评估面临哪些实际挑战，特别是在访问权限、隐私保护与工具支持方面？
• RQ5 如何将定量风险评估有意义地整合到现有的监管与组织治理框架中？

主要发现

• 公平性、鲁棒性、准确性、数据效率与模型效率的定量指标已存在，且无需访问训练数据即可应用于现有模型。
• 基于标准化指标的综合风险评分，可实现对不同AI系统的客观、可重复且可比的风险评估。
• 该评估框架仅需推理级别访问即可应用，使第三方审计员或内部团队能够在生产环境中评估模型。
• 在标准化以实现跨模型比较与基于特定领域风险特征的定制化之间存在张力，尤其体现在公平性与对抗鲁棒性等维度。
• 通过模块化设计，与现有治理流程的集成是可行的，支持渐进式采纳，无需替换现有系统。
• 新兴的AI认证机构表明，行业正逐步推动将定量风险评估正式纳入AI合规与信任框架。