[论文解读] Risks and Opportunities of Open-Source Generative AI

Francisco Eiras, Aleksander Petrov+23 more|arXiv (Cornell University)|May 14, 2024

Scientific Computing and Data Management被引用 6

一句话总结

本文认为开源生成式AI在近到中期和长期具有净效益，讨论了模型组件的开放性分类体系，评估各地区治理，并提出政策与最佳实践建议以降低风险。

ABSTRACT

Applications of Generative AI (Gen AI) are expected to revolutionize a number of different areas, ranging from science & medicine to education. The potential for these seismic changes has triggered a lively debate about the potential risks of the technology, and resulted in calls for tighter regulation, in particular from some of the major tech companies who are leading in AI development. This regulation is likely to put at risk the budding field of open-source generative AI. Using a three-stage framework for Gen AI development (near, mid and long-term), we analyze the risks and opportunities of open-source generative AI models with similar capabilities to the ones currently available (near to mid-term) and with greater capabilities (long-term). We argue that, overall, the benefits of open-source Gen AI outweigh its risks. As such, we encourage the open sourcing of models, training and evaluation data, and provide a set of recommendations and best practices for managing risks associated with open-source generative AI.

研究动机与目标

• 为 Gen AI 发展定义一个三阶段框架（近、中、长期），并评估各阶段的开源影响。
• 提出 Gen AI 模型组件的开放性分类体系，并按开放程度对知名大模型进行分类。
• 审查影响开源 Gen AI 的治理、监管格局和区域政策，涵盖欧盟、美国、中国、中东及其他地区。
• 识别开源 Gen AI 的风险与缓解策略，并倡导在近到中期阶段实现负责任的开源。
• 提出政策建议和最佳实践，以在创新、安全与问责之间取得平衡。

提出的方法

• 建立一个聚焦采用率与能力增长的 Gen AI 三阶段发展框架（近、中、长期）。
• 构建开放性分类体系，区分在训练、评估与部署管线中的代码与数据的完全闭源、半开放（含子类别）和完全开放的组件。
• 将该分类法应用于 45 个高影响力的 LLM（2019–2024），以评估管线组件以及模型权重、数据和评估代码的开放性。
• 对近到中期模型在四个影响领域（研究/创新、安全/安保、公平/获取、社会影响）进行对比性社会技术分析，并讨论长期 AGI 的考虑与对齐。
• 调研全球监管框架（EU AI Act、Biden EO、China Generative AI Measures、中东政策）并总结它们如何影响开源 Gen AI。
• 为政策制定者和开发者提供建议与最佳实践，以实现对 Gen AI 的安全、负责任的开源。

Figure 1 : Three Development Stages for Generative AI Models : near-term is defined by early use and exploration of the technology in much of its current state; mid-term is a result of the widespread adoption of the technology and further scaling at current pace; long-term is the result of technolog

实验结果

研究问题

• RQ1 当前 Gen AI 模型在训练、评估和部署组件上的开源开放性现状是怎样的？
• RQ2 开源 Gen AI 在近到中期的风险与机会是什么，如何进行缓解？
• RQ3 长期发展（例如 AGI）如何影响开源的治理与安全收益？
• RQ4 现有或正在制定的监管框架有哪些，它们如何塑造开源 Gen AI 实践？
• RQ5 哪些政策与运营的最佳实践可以在最大化收益的同时将风险降至最低？

主要发现

• 开源 Gen AI 在近到中期对研究与创新具有净正向影响，但相对于封闭模型存在性能差距。
• 在训练数据和安全评估上倾向于封闭组件，这限制了开源的好处和风险缓解。
• 具有更开放管线的模型往往不如封闭模型表现优越，表明开放性与性能之间存在权衡。
• 监管制度（EU AI Act、US Executive Order、China measures）塑造治理，但通常承认开源 AI 的经济利益并强调透明度与安全义务。
• 长期 AGI 考量强调通过开源实现技术对齐与风险缓解，作为减少存在性风险并改善治理去中心化的潜在机制。
• 本文倡导在政策指导与最佳实践下的负责任开源发展，以在开放性与安全之间取得平衡。

Figure 2 : Model Pipeline : pipeline of model (1) training, (2) evaluation and (3) deployment analyzed in the report. The component Common Benchmarks Evaluation (in light gray) is included in the pipeline for completeness yet will not be analyzed in detail as these are commonly available and transve