[论文解读] The potential of LLMs for coding with low-resource and domain-specific programming languages

Artur Tarassow|arXiv (Cornell University)|Jul 24, 2023

Topic Modeling被引用 4

一句话总结

本研究探讨了使用大型语言模型（LLMs）在低资源和领域特定编程语言中进行编程的可行性，重点关注gretl的hansl脚本语言。尽管公开代码有限，基于GPT-3.5的LLM仍成功生成、文档化并重构了gretl代码，提供了准确的计量经济学解释，并通过迭代提示纠正了语法错误，展示了其在低资源领域特定语言上的强大泛化能力。

ABSTRACT

This paper presents a study on the feasibility of using large language models (LLM) for coding with low-resource and domain-specific programming languages that typically lack the amount of data required for effective LLM processing techniques. This study focuses on the econometric scripting language named hansl of the open-source software gretl and employs a proprietary LLM based on GPT-3.5. Our findings suggest that LLMs can be a useful tool for writing, understanding, improving, and documenting gretl code, which includes generating descriptive docstrings for functions and providing precise explanations for abstract and poorly documented econometric code. While the LLM showcased promoting docstring-to-code translation capability, we also identify some limitations, such as its inability to improve certain sections of code and to write accurate unit tests. This study is a step towards leveraging the power of LLMs to facilitate software development in low-resource programming languages and ultimately to lower barriers to entry for their adoption.

研究动机与目标

• 评估使用大型语言模型（LLMs）在低资源和领域特定语言（如gretl的hansl）中进行编程的可行性。
• 探究公开可用的LLM是否能有效泛化到训练数据有限的编程语言（如hansl）上。
• 评估LLM在辅助完成常见计量经济学编程任务方面的能力，包括代码文档化、解释、重构和错误纠正。
• 探索LLM作为应用计量经济学中编程助手的潜力，该领域普遍使用领域特定且低资源的编程语言。

提出的方法

• 采用基于GPT-3.5的专有LLM，在gretl所使用的hansl脚本语言中执行编程任务。
• 执行一系列编程任务，包括从自然语言提示生成代码、生成文档字符串、解释代码以及重构代码。
• 通过迭代提示开发来纠正生成脚本中的语法错误，例如错误的smpl和gnuplot命令语法。
• 在真实计量经济学任务上评估LLM的输出，包括时间序列差分、OLS回归和拟合值绘图。
• 将生成的代码与正确的gretl语法进行对比，评估其正确性、可读性以及解释的技术准确性。
• 聚焦于涉及线性代数和计量经济学的领域特定任务，以检验LLM对技术内容的理解能力。

实验结果

研究问题

• RQ1 LLM能否有效生成并理解低资源、领域特定编程语言（如hansl）中的代码？
• RQ2 LLM在多大程度上能从自然语言描述中生成准确且语法正确的gretl脚本？
• RQ3 LLM在hansl中生成描述性文档字符串并解释复杂计量经济学代码的能力如何？
• RQ4 迭代提示能否纠正LLM生成的gretl代码中的语法错误？该过程的有效性如何？
• RQ5 当前LLM在提升代码质量和为低资源语言生成单元测试方面存在哪些局限性？

主要发现

• LLM成功为一个入门级计量经济学任务生成了功能完整的gretl脚本，包括一阶差分、OLS回归和拟合值绘图。
• 尽管存在少量语法错误（如smpl和gnuplot命令语法错误），经过迭代提示后，LLM生成的脚本在很大程度上是正确且可用的。
• LLM在为hansl函数生成描述性技术文档字符串并将其准确转换回代码方面表现出色。
• 该模型能够对抽象且文档不全的计量经济学代码提供精确、准确的解释，从而提升代码的可读性和可维护性。
• LLM通过建议更优的变量名和函数名，显著提升了代码的可读性，尤其在复杂的线性代数和统计运算中表现突出。
• LLM未能生成正确的gretl代码单元测试，表明其在低资源语言测试生成方面存在关键局限性。