[论文解读] Open Problems in Technical AI Governance

Anka Reuel, Ben Bucknall+31 more|arXiv (Cornell University)|Jul 20, 2024

Big Data and Business Intelligence被引用 5

一句话总结

本文定义了技术性 AI 治理（TAIG），提出了能力与目标的二维分类，并整理了可供研究人员和资助者参考的开放技术问题。

ABSTRACT

AI progress is creating a growing range of risks and opportunities, but it is often unclear how they should be navigated. In many cases, the barriers and uncertainties faced are at least partly technical. Technical AI governance, referring to technical analysis and tools for supporting the effective governance of AI, seeks to address such challenges. It can help to (a) identify areas where intervention is needed, (b) identify and assess the efficacy of potential governance actions, and (c) enhance governance options by designing mechanisms for enforcement, incentivization, or compliance. In this paper, we explain what technical AI governance is, why it is important, and present a taxonomy and incomplete catalog of its open problems. This paper is intended as a resource for technical researchers or research funders looking to contribute to AI governance.

研究动机与目标

• 激励技术性AI治理领域并证明其重要性。
• 引入 TAIG（能力与目标）的二维分类法，以构建问题结构。
• 整理开放的技术问题并为未来工作提供具体研究问题。
• 将 TAIG 与更广泛的 AI 治理文献和政策背景联系起来。

提出的方法

• 定义 TAIG 并阐明其与 AI 治理的关系。
• 发展一个两轴分类法，包含能力（例如评估、访问、验证、安全、落地、生态系统监测）和目标（数据、计算、模型与算法、部署）。
• 将开放问题映射到能力–目标配对，并为每一领域提供示例研究问题。
• 突出范围、局限性以及潜在的双重用途问题，以引导负责任的研究与资助。
• 提供以读者为导向的结构，包含自含章节和政策简要附录。

实验结果

研究问题

• RQ1 如何使用可扩展方法在包含数万亿个标记/样本的数据集中识别有问题的数据（3.1.1）？
• RQ2 如何通过自动化许可收集和元数据报告防止在无许可数据上进行训练（3.1.1，3.1.2）？
• RQ3 如何将模型行为归因于训练数据，包括预训练数据与微调数据（3.1.3）？
• RQ4 分析大规模数据集所需的基础设施和元数据有哪些（3.1.2）？
• RQ5 应如何定义和监控计算及硬件规格以治理大规模模型训练（3.2.1，3.2.2）？

主要发现

• 引入技术性 AI 治理（TAIG）领域并阐明其重要性。
• 提供一个具有能力和目标的结构化 TAIG 分类。
• 概述跨数据、计算、模型、部署、评估、安全和生态系统监测等方面的开放问题。
• 提供具体的示例研究问题和政策简报，以指导技术研究者和资助方。
• 强调需要可扩展、鲁棒的评估方法和面向治理的工具。
• 指出双重用途考虑和非技术治理维度。