[论文解读] The Transformative Influence of LLMs on Software Development & Developer Productivity

Sajed Jalil|arXiv (Cornell University)|Nov 28, 2023

Software Engineering Research被引用 4

一句话总结

本文综述了大型语言模型（LLMs）对软件开发的变革性影响，特别是作为AI结对编程助手的应用。文章识别出信任、偏见、可用性及代码质量等方面的关键挑战，并提出了12个开放性问题，以指导未来研究，使LLMs在不同技能水平的开发者中更加可靠、包容且高效。

ABSTRACT

The increasing adoption and commercialization of generalized Large Language Models (LLMs) have profoundly impacted various aspects of our daily lives. Initially embraced by the computer science community, the versatility of LLMs has found its way into diverse domains. In particular, the software engineering realm has witnessed the most transformative changes. With LLMs increasingly serving as AI Pair Programming Assistants spurred the development of specialized models aimed at aiding software engineers. Although this new paradigm offers numerous advantages, it also presents critical challenges and open problems. To identify the potential and prevailing obstacles, we systematically reviewed contemporary scholarly publications, emphasizing the perspectives of software developers and usability concerns. Preliminary findings underscore pressing concerns about data privacy, bias, and misinformation. Additionally, we identified several usability challenges, including prompt engineering, increased cognitive demands, and mistrust. Finally, we introduce 12 open problems that we have identified through our survey, covering these various domains.

研究动机与目标

• 分析由AI结对编程助手采用所推动的软件开发趋势演变。
• 对影响LLMs在软件工程工作流中有效性和可用性的因素进行分类。
• 基于实证研究，评估当前AI结对编程工具的优势与局限性。
• 识别并阐明软件开发领域LLMs的12个关键开放性问题。

提出的方法

• 对16篇来自顶级软件工程与人机交互会议及期刊的学术出版物进行系统性回顾。
• 根据出版场所、评估工具、产业参与度、参与者数量及评估方法对研究进行分类。
• 对用户研究中报告的可用性、信任、偏见及心智模型对齐问题进行主题分析。
• 通过跨研究发现的综合分析，识别出反复出现的挑战，尤其关注初学者开发者和实际部署场景。
• 从当前研究的空白中推导出12个开放性问题，包括数据质量、验证及心智模型对齐。
• 对现有评估数据集（如HumanEval）进行基准测试，以评估其在测试真实世界LLM性能方面的局限性。

实验结果

研究问题

• RQ1 LLMs目前如何被整合到软件开发工作流中，主要协助哪些任务？
• RQ2 开发者在使用AI结对编程助手时面临哪些可用性挑战，特别是在提示工程和认知负荷方面？
• RQ3 信任、偏见和误导信息在多大程度上影响开发者对LLM生成代码的采纳率与可靠性？
• RQ4 当前AI结对编程工具评估实践中的关键差距是什么，为何它们无法反映真实世界的复杂性？
• RQ5 如何使LLMs对初学者开发者和非计算机专业人员更具可及性和有效性？

主要发现

• GitHub Copilot和CodeLlama等AI结对编程工具被广泛采用，但在处理较大或较复杂任务时常被认为不可靠。
• 大量研究指出，AI生成的代码包含编译错误且缺乏清晰性，表明输出质量较差。
• 开发者对LLMs的信任度较低，尤其是在关键或大规模代码场景中，原因在于响应不一致且难以验证。
• 大多数可用性研究的参与者规模小且同质化（通常为15–30人），且多限于研究生群体，限制了结果的普适性。
• 现有基准数据集（如HumanEval）主要测试小型、孤立的代码生成任务，无法捕捉重复性、交互式开发工作流。
• 缺乏针对大模型的系统性偏见缓解策略，现有方法在应对全球多样化软件开发环境方面仍显不足。