[论文解读] Study of software developers' experience using the Github Copilot Tool in the software development process

Mateusz Jaworski, Dariusz Piotrkowski|arXiv (Cornell University)|Jan 12, 2023

Software Engineering Research被引用 4

一句话总结

本研究通过针对42名软件开发者的调查，探讨了开发者在日常开发工作中使用GitHub Copilot这一AI驱动的代码生成工具的体验。尽管开发者普遍认为该工具有潜力提升开发效率，但仅有14.3%的开发者实际使用过该工具，主要原因是对数据安全、版权和代码质量的担忧，即使在官方作出保证后，仍存在显著的不信任感。

ABSTRACT

In software development there is a constant pressure to produce code faster and faster without compromising on quality. New tools supporting developers are created in response to this demand. Currently a new generation of such solutions is about to be launched - Artificial Intelligence driven tools. On 29 June 2021 Github Copilot was announced. It uses trained model to generate code based on human understandable language. The focus of this research was to investigate software developers' approach to this tool. For this purpose a survey containing 18 questions was prepared and shared with programmers. A total of 42 answers were gathered. The results of the research indicate that developers' opinions are divided. Most of them met Github Copilot before attending the survey. The attitude to the tool was mostly positive but not many participants were willing to use it. Concerns are caused by security issues associated with using of Github Copilot.

研究动机与目标

• 了解软件开发者在其日常开发工作流中对GitHub Copilot的使用体验与态度。
• 评估开发者对GitHub Copilot在软件工程生产力和未来就业前景方面影响的看法。
• 调查与AI生成代码相关的安全、数据泄露和代码质量方面的担忧。
• 评估不同开发者职级水平和专业方向（如前端、后端、全栈）对工具实用性的感知。

提出的方法

• 由经验丰富的软件开发者设计了一份18道题的在线调查问卷，并经过清晰度与相关性审核。
• 调查收集了开发者对GitHub Copilot的先前接触情况、使用模式、感知益处及担忧。
• 通过开发者档案（职级、专业方向）的频次分布与交叉列联表，对数据进行了定量分析。
• 对开放式回答进行了主题分析，以捕捉关于工具实用性、局限性及伦理问题的细致观点。
• 本研究聚焦于开发者自我报告的使用体验与态度，尤其关注安全与信任问题。
• 研究结果结合了现有AI编程研究文献以及此前的遗传编程和代码补全系统研究进行语境化分析。

Figure 1: Hearing about GitHub Copilot

实验结果

研究问题

• RQ1 软件开发者对GitHub Copilot的熟悉程度如何？其实际使用水平如何？
• RQ2 开发者在开发流程中采用GitHub Copilot的主要动机或障碍是什么？
• RQ3 开发者如何看待GitHub Copilot对软件开发效率和未来就业的影响，尤其是在不同经验水平之间的差异？
• RQ4 开发者在AI生成建议方面对数据泄露和代码质量的主要安全与伦理担忧是什么？
• RQ5 不同编程专业方向（如前端、后端、全栈）的开发者对GitHub Copilot的感知有何差异？

主要发现

• 85.7%的受访开发者未使用过GitHub Copilot，尽管66.7%在调查前已听说过该工具。
• 仅有14.3%的受访者使用过该工具，主要用途为非商业场景，如测试、学习或开源贡献。
• 尽管85.7%的受访者表示在了解该工具后有兴趣进行测试，但仅有38.1%表现出强烈使用意愿，表明感知价值与实际采纳之间存在差距。
• 相当一部分（31%）开发者担心项目中的数据泄露，16.7%表示不确定，仅13%表示不担心，凸显持续存在的信任问题。
• 大多数开发者（50%）认为GitHub Copilot对其就业无影响，但初级开发者更可能认为其会产生负面影响，反映出对岗位被替代的担忧。
• 尽管有官方保证，仍有40%的开发者对数据安全持怀疑态度，安全与版权问题是采纳的主要障碍。

Figure 2: Usage of GitHub Copilot among the respondents