[论文解读] Sea Change in Software Development: Economic and Productivity Analysis of the AI-Powered Developer Lifecycle

Thomas Dohmke, Marco Iansiti+1 more|arXiv (Cornell University)|Jun 26, 2023

Open Source Software Innovations被引用 11

一句话总结

本研究分析 GitHub Copilot 在 934,533 名用户中的使用情况，显示约 ~30% 的建议被采纳，随时间增加，对经验较少的开发者收益更大，并估计到 2030 年由生成式 AI 工具驱动的潜在 GDP 增长可达 1.5 万亿美元。

ABSTRACT

This study examines the impact of GitHub Copilot on a large sample of Copilot users (n=934,533). The analysis shows that users on average accept nearly 30% of the suggested code, leading to increased productivity. Furthermore, our research demonstrates that the acceptance rate rises over time and is particularly high among less experienced developers, providing them with substantial benefits. Additionally, our estimations indicate that the adoption of generative AI productivity tools could potentially contribute to a $1.5 trillion increase in global GDP by 2030. Moreover, our investigation sheds light on the diverse contributors in the generative AI landscape, including major technology companies, startups, academia, and individual developers. The findings suggest that the driving force behind generative AI software innovation lies within the open-source ecosystem, particularly in the United States. Remarkably, a majority of repositories on GitHub are led by individual developers. As more developers embrace these tools and acquire proficiency in the art of prompting with generative AI, it becomes evident that this novel approach to software development has forged a unique inextricable link between humans and artificial intelligence. This symbiotic relationship has the potential to shape the construction of the world's software for future generations.

研究动机与目标

• 评估使用大型 GitHub 数据的 AI 驱动编码助手对生产力的影响。
• 量化 Copilot 建议的采纳率及其随时间的演变。
• 估算采用生成式 AI 生产力工具的宏观经济含义。
• 描述开源 AI 软件生态系统中的贡献者与组织动态。

提出的方法

• 分析一个大型用户样本（n=934,533）的 Copilot 用户，以测量对所建议代码的采纳情况。
• 将采纳率计算为用户采用的建议代码所占比例。
• 建模对采纳的时序趋势及按开发者经验的差异效应。
• 估算到 2030 年全球 GDP 因生成式 AI 生产力工具的采用而产生的影响。
• 描述生成式 AI 生态景观的组成以及代码托管库领导力动态。

实验结果

研究问题

• RQ1 在用户中，Copilot 建议代码的平均采纳率是多少？
• RQ2 采纳率随时间如何演变，不同开发者经验水平有何差异？
• RQ3 到 2030 年采用生成式 AI 生产力工具的潜在宏观经济影响是什么？
• RQ4 生成式 AI 软件生态系统的关键贡献者是谁（产业、初创企业、学术界、个人），价值创造在哪里？

主要发现

• 平均 Copilot 建议采纳率约为 30%。
• 采纳率随时间上升，对经验较少的开发者更高。
• 生成式 AI 生产力工具到 2030 年可能为全球 GDP 增加 1.5 万亿美元。
• 开源生态系统，尤其是美国，推动生成式 AI 软件创新。
• 大多数 GitHub 仓库由个人开发者主导。