[论文解读] Transforming Software Development with Generative AI: Empirical Insights on Collaboration and Workflow

Rasmus Ulfsnes, Nils Brede Moe+2 more|arXiv (Cornell University)|Feb 12, 2024

Scientific Computing and Data Management被引用 4

一句话总结

本论文通过与13名开发人员、数据科学家和设计师的实证访谈，研究了生成式人工智能（GenAI）如何通过自动化重复性任务提升个人生产力和积极性，从而改变软件开发工作流程与团队协作。然而，GenAI也存在破坏团队学习回路、减少同伴协作的风险，尽管‘配对提示工程’作为一种新型协作实践应运而生。

ABSTRACT

Generative AI (GenAI) has fundamentally changed how knowledge workers, such as software developers, solve tasks and collaborate to build software products. Introducing innovative tools like ChatGPT and Copilot has created new opportunities to assist and augment software developers across various problems. We conducted an empirical study involving interviews with 13 data scientists, managers, developers, designers, and frontend developers to investigate the usage of GenAI. Our study reveals that ChatGPT signifies a paradigm shift in the workflow of software developers. The technology empowers developers by enabling them to work more efficiently, speed up the learning process, and increase motivation by reducing tedious and repetitive tasks. Moreover, our results indicate a change in teamwork collaboration due to software engineers using GenAI for help instead of asking co-workers which impacts the learning loop in agile teams.

研究动机与目标

• 理解生成式AI工具（如ChatGPT和Copilot）如何重塑软件开发的工作流程与日常实践。
• 考察GenAI对团队协作的影响，特别是从同伴咨询向AI辅助问题解决的转变。
• 评估GenAI采纳对敏捷环境中团队学习回路、知识共享及长期团队绩效的影响。
• 探索个体生产力提升与集体团队动态下降及工作满意度降低之间的平衡。

提出的方法

• 对13名软件团队中的开发人员、数据科学家、设计师及管理人员等不同角色的专业人士开展半结构化访谈。
• 聚焦于生成式AI工具（如ChatGPT和GitHub Copilot）在日常开发任务中的实际使用模式。
• 分析工作流程、协作动态与工作满意度的变化，尤其关注任务自动化与同伴互动减少的影响。
• 识别出如‘配对提示工程’等新兴协作实践，作为传统结对编程的替代方案。
• 使用概念模型映射团队学习回路的变化，评估AI对知识共享与团队凝聚力的影响。
• 采用定性主题分析方法，提取关于生产力、动机与团队动态的洞察。

(a) Regular learning loop

实验结果

研究问题

• RQ1 生成式AI工具的整合如何改变软件开发人员的日常流程与任务执行模式？
• RQ2 GenAI的使用在多大程度上影响了敏捷软件开发团队内部的协作与知识共享？
• RQ3 GenAI对个体生产力、动机与工作满意度的感知影响是什么？
• RQ4 从人际咨询转向AI咨询的转变如何影响团队学习回路与长期团队绩效？
• RQ5 在GenAI采纳背景下，诸如‘配对提示工程’等新型协作实践如何涌现？

主要发现

• GenAI显著减少了在重复性编码任务上花费的时间，使开发人员能够将精力集中于高层次设计与问题解决。
• 开发人员报告称，由于繁琐任务负担减轻，其动机与感知生产力有所提升，这与Meyer等人提出的‘好工作日’框架相一致。
• 从咨询同事转向咨询GenAI以获取帮助的趋势明显，这可能削弱基于团队的学习与知识共享。
• 当AI取代同伴互动时，传统团队学习回路（即团队成员通过协作相互学习）可能被破坏或减弱。
• 尽管同伴互动减少，但‘配对提示工程’等新型协作模式已涌现，使团队能够与AI共同实现知识共享与集体问题解决。
• GenAI的采纳可能导致团队结构趋于同质化，个体更专注于孤立模块，可能损害团队凝聚力与共同责任感。

(b) Disrupted learning loop