[论文解读] Near to Mid-term Risks and Opportunities of Open-Source Generative AI

Francisco Eiras, Aleksandar Petrov+22 more|arXiv (Cornell University)|Apr 25, 2024

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

本文主张在近期至中期负责任地开源生成式人工智能模型，认为开放获取可加速创新、安全研究和公平发展。通过将一种新颖的AI开放性分类法应用于40个大语言模型，本文识别出开放模型与封闭模型在风险与收益上的差异，并提出技术、伦理和政策措施，以在透明与协作的基础上最大限度地降低风险，实现社会效益最大化。

ABSTRACT

In the next few years, applications of Generative AI are expected to revolutionize a number of different areas, ranging from science & medicine to education. The potential for these seismic changes has triggered a lively debate about potential risks and resulted in calls for tighter regulation, in particular from some of the major tech companies who are leading in AI development. This regulation is likely to put at risk the budding field of open-source Generative AI. We argue for the responsible open sourcing of generative AI models in the near and medium term. To set the stage, we first introduce an AI openness taxonomy system and apply it to 40 current large language models. We then outline differential benefits and risks of open versus closed source AI and present potential risk mitigation, ranging from best practices to calls for technical and scientific contributions. We hope that this report will add a much needed missing voice to the current public discourse on near to mid-term AI safety and other societal impact.

研究动机与目标

• 论证在近期至中期开源生成式AI模型对于创新、安全研究和公平获取至关重要。
• 开发并应用AI开放性分类法，评估40个大语言模型的当前状态。
• 从技术、社会和监管维度，比较开放源代码与封闭源代码生成式AI的风险与收益。
• 识别并推荐具体的风控策略，包括最佳实践和技术贡献，以促进开源生成式AI的发展。
• 提供一种平衡、基于证据的反驳，以应对日益增长的加强监管呼声，防止其抑制开源进展。

提出的方法

• 构建了一个三阶段框架（近期、中期、长期），基于采用率和技术进步而非时间来对生成式AI发展进行分类。
• 应用AI开放性分类法分析40个大语言模型，评估其在代码、数据和模型权重方面的开放程度。
• 将模型生命周期划分为三个阶段：训练、评估和部署，重点关注大语言模型。
• 从创新、安全和监管风险等维度，对开放源代码与封闭源代码模型进行对比分析。
• 评估包括欧盟、美国、中国、沙特阿拉伯、阿联酋等在内的全球监管格局，以评估其与开源原则的一致性。
• 提出一系列技术、科学和政策建议，以实现负责任的开源，包括模型审计、透明度和治理框架。

Figure 1: Three Development Stages for Generative AI Models : near-term is defined by early use and exploration of the technology in much of its current stage; mid-term is a result of the widespread adoption of the technology and further scaling at current pace; long-term is the result of technologi

实验结果

研究问题

• RQ1 在近期至中期开源生成式AI模型的关键风险与收益是什么？
• RQ2 如何系统性地对不同模型的生成式AI开放性进行分类和衡量？
• RQ3 不同地区现行的监管框架在多大程度上影响了开源生成式AI的开发与分发？
• RQ4 哪些技术和程序性保障措施可以缓解开源强大生成式模型所伴随的风险？
• RQ5 与封闭源代码替代方案相比，开源生成式AI在促进公平创新和安全研究方面有何贡献？

主要发现

• AI开放性分类法成功对40个大语言模型进行了分类，揭示出尽管许多模型部分开放，但代码、数据和权重的全面透明仍属罕见。
• 开源的生成式AI模型相比封闭模型，能促进更广泛的安全研究、更快的创新以及更具韧性的系统。
• 欧盟和美国等地区的监管举措往往未充分考虑开源生成式AI，可能对其发展造成不利影响。
• 阿联酋和沙特阿拉伯等国家通过Falcon和Allam等举措，展现出对开源AI的大力支持，表明全球在开放创新方面正日益趋同。
• 报告指出，开源模型可减少垄断控制并增强透明度，但仅在配合强有力的风控实践时才能实现。
• 政策对开源生成式AI的识别存在显著缺口，大多数法规聚焦于封闭模型和企业部署，而非社区驱动的开发。

Figure 2: Model Pipeline : stages showing (1) training, (2) evaluation, and (3) deployment analyzed in the report. The component Common Benchmarks Evaluation (light gray) is included for completeness yet will not be analyzed in detail as these are standard and commonly available.