[论文解读] On the Societal Impact of Open Foundation Models

Sayash Kapoor, Rishi Bommasani+23 more|arXiv (Cornell University)|Feb 27, 2024

3D Modeling in Geospatial Applications被引用 11

一句话总结

本文界定了开放基础模型的五个独特属性，为误用建立了边际风险框架，并主张以实证方式将所主张的社会利益与风险作为证据基础，以指导政策与实践。

ABSTRACT

Foundation models are powerful technologies: how they are released publicly directly shapes their societal impact. In this position paper, we focus on open foundation models, defined here as those with broadly available model weights (e.g. Llama 2, Stable Diffusion XL). We identify five distinctive properties (e.g. greater customizability, poor monitoring) of open foundation models that lead to both their benefits and risks. Open foundation models present significant benefits, with some caveats, that span innovation, competition, the distribution of decision-making power, and transparency. To understand their risks of misuse, we design a risk assessment framework for analyzing their marginal risk. Across several misuse vectors (e.g. cyberattacks, bioweapons), we find that current research is insufficient to effectively characterize the marginal risk of open foundation models relative to pre-existing technologies. The framework helps explain why the marginal risk is low in some cases, clarifies disagreements about misuse risks by revealing that past work has focused on different subsets of the framework with different assumptions, and articulates a way forward for more constructive debate. Overall, our work helps support a more grounded assessment of the societal impact of open foundation models by outlining what research is needed to empirically validate their theoretical benefits and risks.

研究动机与目标

• 识别开放基础模型与封闭模型的差异，以及这些差异为何对社会重要。
• 制定一个框架，用于评估开放基础模型在关键误用向量上的边际误用风险。
• 阐述社会利益（创新、竞争、透明度等）及其实现的条件。
• 提供政策和研究建议，以更好地验证利益并减轻风险。

提出的方法

• 将开放基础模型定义为具有广泛可用的模型权重，并将其与封闭模型进行对比。
• 列举开放模型的五个独特属性：更广泛的访问、更高的可定制性、本地推理、访问不可逆性、监控能力较弱。
• 提出一个六步的边际误用风险评估框架（威胁识别、现有风险、现有防御等）。
• 调查七种误用向量（如错误信息、生物安全、网络安全、NCII、骗局等），以评估边际风险。
• 探讨该框架如何澄清前期工作的分歧并指导经验验证。

实验结果

研究问题

• RQ1 开放基础模型与封闭模型之间有哪些差异，这些差异如何转化为社会利益与风险？
• RQ2 我们应如何在不同误用向量上评估开放基础模型的边际风险，以及需要哪些证据来经验性验证这些风险？
• RQ3 政策制定者、研究者和开发者如何利用该框架在提高安全性、透明度和创新的同时，降低有害影响？

主要发现

• 开放基础模型可以扩大获取途径、提升定制化、支持本地推理，并可能提升透明度，这些共同影响创新与竞争。
• 边际风险框架可解释为何某些误用风险看起来较低，以及为何前期研究存在分歧，因为关注的是框架的不同组成部分。
• 就若干误用向量而言，边际风险的经验证据目前还薄弱，提示需要更扎实的研究。
• 本文为开发者、研究者、监管者和政策制定者提供了具体的指南，以更好地评估社会影响并设计适当的安全措施。