[论文解读] The Role of Generative AI in Software Development Productivity: A Pilot Case Study

Mariana Coutinho, Lorena Marques+4 more|arXiv (Cornell University)|Jun 1, 2024

Big Data and Business Intelligence被引用 6

一句话总结

一项初步案例研究调查生成式 AI 工具在各角色的软件开发生产力中的影响，普遍呈现积极的感知收益，同时存在可靠性与安全性方面的挑战。

ABSTRACT

With software development increasingly reliant on innovative technologies, there is a growing interest in exploring the potential of generative AI tools to streamline processes and enhance productivity. In this scenario, this paper investigates the integration of generative AI tools within software development, focusing on understanding their uses, benefits, and challenges to software professionals, in particular, looking at aspects of productivity. Through a pilot case study involving software practitioners working in different roles, we gathered valuable experiences on the integration of generative AI tools into their daily work routines. Our findings reveal a generally positive perception of these tools in individual productivity while also highlighting the need to address identified limitations. Overall, our research sets the stage for further exploration into the evolving landscape of software development practices with the integration of generative AI tools.

研究动机与目标

• 推动将软件开发中的生产力理解为一个多方面的构造。
• 探索生成式 AI 工具如何在实际的软件项目中，在工业环境中集成。
• 识别生成式 AI 在编码、设计、数据科学及相关活动中的用途、收益与挑战。
• 提供初步见解以指导更广泛、纵向的 AI 辅助软件开发研究。

提出的方法

• 在一家拥有多元团队的大型软件公司进行的案例研究。
• 通过带有开放式问题的问卷以及来自沟通渠道（如 Slack）的观察收集数据。
• 试点涉及 14 名志愿者（13 人完成），在四周内使用 ChatGPT、OpenAI API、Midjourney 和 GitHub Copilot 等工具。
• 使用逐行编码和主题分析进行定性数据分析，以识别与可用性、生产力、收益和挑战相关的模式。

实验结果

研究问题

• RQ1 生成式 AI 工具的整合如何影响不同角色和活动中的软件专业人员的工作？
• RQ2 这些工具对生产力的感知影响是什么，包括时间效率和价值创造？
• RQ3 在软件开发中采用生成式 AI 时，用户报告的收益与挑战是什么？
• RQ4 可靠性、提示精度、来源和安全性等问题如何影响 AI 辅助工作？

主要发现

• 生成式 AI 工具用于生成/审阅产物、支持创意构思、解决代码构建疑问，并协助正式写作。
• 参与者将时间优化和多功能性视为 AI 工具的主要收益。
• 可靠性、提示精度、缺乏来源和安全性担忧是遇到的主要挑战。
• 大多数参与者认为对生产力有积极影响，得益于更快的内容创建和知识获取，尽管产出通常需要人工精炼。
• 工具可以将多项任务整合到一个工作流程中，提升效率与学习，尽管存在局限。