[论文解读] Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects

Ruchika Pandey, Prabhat K. Singh+2 more|arXiv (Cornell University)|Jun 25, 2024

Software System Performance and Reliability被引用 4

一句话总结

本研究通过分析大型专有代码库中的15项任务，评估了GitHub Copilot在真实世界软件开发中的影响，表明其在代码文档编写和自动补全任务中可将时间减少高达50%，在重复性任务、单元测试生成和调试中可实现30–40%的效率提升，并在以云为中心的开发生命周期中预计可节省33–36%的时间。同时，研究识别出在复杂、多文件或C/C++环境下的局限性。

ABSTRACT

Generative AI technologies promise to transform the product development lifecycle. This study evaluates the efficiency gains, areas for improvement, and emerging challenges of using GitHub Copilot, an AI-powered coding assistant. We identified 15 software development tasks and assessed Copilot's benefits through real-world projects on large proprietary code bases. Our findings indicate significant reductions in developer toil, with up to 50% time saved in code documentation and autocompletion, and 30-40% in repetitive coding tasks, unit test generation, debugging, and pair programming. However, Copilot struggles with complex tasks, large functions, multiple files, and proprietary contexts, particularly with C/C++ code. We project a 33-36% time reduction for coding-related tasks in a cloud-first software development lifecycle. This study aims to quantify productivity improvements, identify underperforming scenarios, examine practical benefits and challenges, investigate performance variations across programming languages, and discuss emerging issues related to code quality, security, and developer experience.

研究动机与目标

• 量化使用GitHub Copilot在真实世界软件开发工作流中带来的生产力提升。
• 识别Copilot未能实现预期效率增益的低效场景。
• 考察不同编程语言（尤其是C/C++）下的性能差异。
• 评估使用AI辅助编码时出现的代码质量、安全性和开发者体验方面的新挑战。
• 基于实证发现，预测以云为中心的软件开发生命周期中的时间节省。

提出的方法

• 在大型专有代码库中对15项软件开发任务进行了真实世界评估。
• 测量了包括代码自动补全、文档编写、单元测试生成、调试和结对编程在内的任务中的时间节省和效率增益。
• 聚焦于企业级、以云为中心的开发环境，以体现工业相关性。
• 在多种编程语言上评估性能，特别关注C/C++和复杂函数。
• 分析多文件上下文和大型代码结构中的失败案例，以识别局限性。
• 基于观察到的任务级改进，预测软件开发生命周期的整体时间减少。

实验结果

研究问题

• RQ1 GitHub Copilot在真实世界的大规模软件项目中，能在多大程度上减少开发者的工作负担？
• RQ2 在哪些类型的开发任务中，Copilot能实现最高的效率增益？
• RQ3 Copilot在不同编程语言（尤其是C/C++）中的表现如何变化？
• RQ4 在复杂或多文件软件开发场景中，Copilot的主要失败模式是什么？
• RQ5 使用AI辅助编码时，与代码质量、安全性和开发者体验相关的新兴挑战有哪些？

主要发现

• GitHub Copilot在代码文档编写和自动补全任务中，将开发时间减少了高达50%。
• 在重复性编码任务、单元测试生成、调试和结对编程中，观察到30–40%的时间减少。
• 本研究预测，在以云为中心的软件开发生命周期中，相关编码任务的整体时间可减少33–36%。
• Copilot在复杂任务、大型函数和多文件代码库中表现显著不佳，尤其是在C/C++中。
• 在上下文理解受限的专有代码环境中，观察到性能下降。
• 新兴挑战包括对代码质量和安全性的风险，特别是当生成的代码未经过充分审查时。