[论文解读] Why and How Governments Should Monitor AI Development

Jess Whittlestone, Jack Clark|arXiv (Cornell University)|Aug 28, 2021

Ethics and Social Impacts of AI参考文献 15被引用 15

一句话总结

本文提出，政府应建立系统化的测量与监测基础设施，实时追踪人工智能的能力、部署情况及其影响，采用政府主导协调与第三方研究相结合的混合模式。通过此举，政府可提升监管监督能力，提前预见风险，并引导人工智能发展以造福社会。

ABSTRACT

In this paper we outline a proposal for improving the governance of artificial intelligence (AI) by investing in government capacity to systematically measure and monitor the capabilities and impacts of AI systems. If adopted, this would give governments greater information about the AI ecosystem, equipping them to more effectively direct AI development and deployment in the most societally and economically beneficial directions. It would also create infrastructure that could rapidly identify potential threats or harms that could occur as a consequence of changes in the AI ecosystem, such as the emergence of strategically transformative capabilities, or the deployment of harmful systems. We begin by outlining the problem which motivates this proposal: in brief, traditional governance approaches struggle to keep pace with the speed of progress in AI. We then present our proposal for addressing this problem: governments must invest in measurement and monitoring infrastructure. We discuss this proposal in detail, outlining what specific things governments could focus on measuring and monitoring, and the kinds of benefits this would generate for policymaking. Finally, we outline some potential pilot projects and some considerations for implementing this in practice.

研究动机与目标

• 应对人工智能快速发展带来的日益严峻的政策挑战，该挑战已超越传统治理机制的响应能力。
• 通过提供关于人工智能系统的及时、高质量数据，减少政府与私营人工智能开发者之间的信息不对称。
• 通过早期预警系统和人工智能技术的协调影响评估，实现主动治理。
• 加强国家在评估人工智能进展、部署情况及社会影响方面的能力，以支持更好的资金配置、监管和战略规划。
• 防止私营部门主导人工智能监测，确保建立符合公共利益和公民利益的测量基础设施。

提出的方法

• 使用文献计量分析、开源数据和基准测试，追踪人工智能研究与发展的进展。
• 实施对已部署人工智能系统的持续监测，以检测潜在危害并评估其在现实世界中的影响。
• 建立国家级人工智能事件数据库，记录并分析人工智能造成实际伤害的具体案例。
• 追踪各行业的特定人工智能采用与部署情况，以预测社会与经济影响。
• 监测不同主体对关键人工智能投入要素（如人才、计算资源、数据）的控制情况。
• 部署混合治理模式：由政府主导协调，同时吸纳学术界与产业界第三方的贡献。

实验结果

研究问题

• RQ1 政府如何系统性地实时测量和监测人工智能的能力与影响，以跟上其快速发展步伐？
• RQ2 哪些具体的数据流和方法论能够提升政府对人工智能部署与风险的理解？
• RQ3 测量基础设施如何支持对高风险人工智能发展或系统性危害的早期发现？
• RQ4 何种制度模式可实现政府主导的有效、可扩展且非商业偏见的人工智能监测？
• RQ5 人工智能监测在哪些方面可改善监管合规性、资金优先级分配与政策协调？

主要发现

• 若缺乏政府主导的测量基础设施，私营主体将主导人工智能监测，使其更倾向于狭隘的商业利益而非公共利益。
• 政府与私营人工智能开发者之间的信息不对称将加剧，导致政策制定反应迟缓且缺乏充分依据。
• 试点项目如人工智能事件数据库和地理文献计量分析，可为国家人工智能竞争力与风险提供早期洞察。
• 对各行业人工智能部署的监测，有助于更准确预测自动化对劳动力市场与经济的影响。
• 追踪对关键投入要素（如计算资源、数据、人才）的控制情况，有助于识别监管干预点及人工智能生态系统中的权力失衡。
• 混合模式——政府主导并结合第三方贡献——可有效扩展监测能力，同时保持公共问责性。