[论文解读] Protecting Society from AI Misuse: When are Restrictions on Capabilities Warranted?

Markus Anderljung, Julian Hazell|arXiv (Cornell University)|Mar 16, 2023

Ethics and Social Impacts of AI被引用 13

一句话总结

本文主张对 AI 能力以及一些非 AI 能力进行有针对性的限制，以防止滥用，并开发一个框架和分类体系来评估何时应实施此类干预。

ABSTRACT

Artificial intelligence (AI) systems will increasingly be used to cause harm as they grow more capable. In fact, AI systems are already starting to be used to automate fraudulent activities, violate human rights, create harmful fake images, and identify dangerous toxins. To prevent some misuses of AI, we argue that targeted interventions on certain capabilities will be warranted. These restrictions may include controlling who can access certain types of AI models, what they can be used for, whether outputs are filtered or can be traced back to their user, and the resources needed to develop them. We also contend that some restrictions on non-AI capabilities needed to cause harm will be required. Though capability restrictions risk reducing use more than misuse (facing an unfavorable Misuse-Use Tradeoff), we argue that interventions on capabilities are warranted when other interventions are insufficient, the potential harm from misuse is high, and there are targeted ways to intervene on capabilities. We provide a taxonomy of interventions that can reduce AI misuse, focusing on the specific steps required for a misuse to cause harm (the Misuse Chain), and a framework to determine if an intervention is warranted. We apply this reasoning to three examples: predicting novel toxins, creating harmful images, and automating spear phishing campaigns.

研究动机与目标

• 动机：随着能力的提升，AI 滥用将升级，针对性的能力限制可以降低伤害。
• 提出一种干预分类体系，在限制滥用的同时考虑成本与权衡。
• 开发一个框架（Misuse Chain）以判断何时应限制能力。
• 论证限制不仅限于 AI 能力，还应包括对非 AI 能力的控制。
• 将该框架应用于具体的滥用情景，以提供实际指导。

提出的方法

• 制定干预分类体系，通过针对滥用过程的特定环节来降低 AI 滥用。
• 引入 Misuse Chain 框架，以绘制干预可以在哪些环节切断伤害。
• 讨论何时应实施能力限制的标准（风险、其他干预的充足性、针对性可行性）。
• 提供示例，说明在三个滥用领域中的应用：新型毒素预测、有害图像生成，以及自动化定向钓鱼。
• 将能力限制与滥用-使用权衡进行对比，以证明选择性部署的合理性。

实验结果

研究问题

• RQ1 在何种条件下，应限制 AI 能力以防止滥用？
• RQ2 能力限制可以采取哪些形式（例如访问、活动、输出、可追溯性、资源等），以及它们如何与非 AI 限制互动？
• RQ3 系统性框架（Misuse Chain）如何评估干预在不同滥用情景中的有效性和必要性？
• RQ4 有哪些具体示例，表明有针对性的能力限制可以在不妨碍有益用途的情况下降低伤害？

主要发现

• 当其他干预不足且滥用可能造成的伤害高时，针对性能力限制是正当的。
• 限制可能包括访问控制、允许的使用场景、输出过滤或可追溯性，以及资源限制。
• 还可能需要对造成伤害的非 AI 能力进行限制。
• Misuse Chain 框架有助于以结构化方式识别能够实际降低伤害的干预点。
• 将其应用于毒素预测、有害图像生成和定向钓鱼，说明干预如何打断滥用过程。