[论文解读] Programming with AI: Evaluating ChatGPT, Gemini, AlphaCode, and GitHub Copilot for Programmers

Md Kamrul Siam, Huanying Gu+1 more|arXiv (Cornell University)|Nov 14, 2024

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本研究评估了领先AI编程助手——ChatGPT、Gemini、GitHub Copilot和AlphaCode——在Python、Java和C++编程语言中的代码生成准确性，采用HumanEval和Natural2Code等基准测试。研究发现，Gemini 1.5 Pro和GPT-4-Turbo在pass@100指标上表现最佳，而GitHub Copilot和AlphaCode虽表现强劲但一致性较差，凸显了在AI辅助开发中提升可靠性和伦理部署的必要性。

ABSTRACT

Our everyday lives now heavily rely on artificial intelligence (AI) powered large language models (LLMs). Like regular users, programmers are also benefiting from the newest large language models. In response to the critical role that AI models play in modern software development, this study presents a thorough evaluation of leading programming assistants, including ChatGPT, Gemini(Bard AI), AlphaCode, and GitHub Copilot. The evaluation is based on tasks like natural language processing and code generation accuracy in different programming languages like Java, Python and C++. Based on the results, it has emphasized their strengths and weaknesses and the importance of further modifications to increase the reliability and accuracy of the latest popular models. Although these AI assistants illustrate a high level of progress in language understanding and code generation, along with ethical considerations and responsible usage, they provoke a necessity for discussion. With time, developing more refined AI technology is essential for achieving advanced solutions in various fields, especially with the knowledge of the feature intricacies of these models and their implications. This study offers a comparison of different LLMs and provides essential feedback on the rapidly changing area of AI models. It also emphasizes the need for ethical developmental practices to actualize AI models' full potential.

研究动机与目标

• 评估最先进的AI模型——ChatGPT、Gemini、GitHub Copilot和AlphaCode——在多种编程语言中的代码生成准确性。
• 识别用于评估LLM生成代码在真实开发场景中质量与正确性的关键指标和基准。
• 分析在软件工程工作流中部署AI模型的优势、劣势及伦理影响。
• 为提升模型在编程场景中的可靠性与负责任使用提供可操作的反馈。

提出的方法

• 在Python、Java和C++中，使用HumanEval和Natural2Code等标准化基准对代码生成进行实证评估。
• 采用pass@k和测试用例成功率等指标衡量模型性能，以评估正确性与可靠性。
• 在包括自然语言到代码转换和算法问题求解在内的多样化编程任务上评估模型。
• 将模型输出与人工编写的代码进行对比，以评估语法正确性、功能性和语义准确性。
• 分析各模型在架构和训练方面的差异，以解释性能差异。
• 基于观察到的模型行为和局限性，审查伦理考量与负责任的部署实践。

实验结果

研究问题

• RQ1 RQ1：在多种编程语言中，哪一模型为程序员提供了最准确的代码？
• RQ2 RQ2：评估LLM生成代码的质量与正确性时，使用的关键指标是什么？
• RQ3 RQ3：哪些基准最能有效衡量AI编程助手的真实世界性能？

主要发现

• Gemini 1.5 Pro和Gemini-Ultra在HumanEval和Natural2Code上均实现了高pass@100率，展现出卓越的代码生成准确性。
• OpenAI的GPT-4-Turbo模型表现出一致的高测试用例成功率，表明其在生成功能性代码方面具有强大可靠性。
• GitHub Copilot在实时代码补全和反馈方面表现出色，但在复杂任务中正确性存在波动。
• AlphaCode，尤其是AlphaCode 2，在竞赛编程中表现优异，在部分基准测试中平均超越85%的人类参赛者。
• ChatGPT在自然语言理解与代码生成方面表现强劲，尤其在将自然语言描述转化为可运行代码方面优势明显。
• 所有模型在准确性与可靠性方面均存在显著局限，需在投入生产环境前经过人工审查与验证。