[论文解读] Sequence Model Design for Code Completion in the Modern IDE

Gareth Ari Aye, Gail E. Kaiser|arXiv (Cornell University)|Apr 10, 2020

Software Engineering Research参考文献 35被引用 20

一句话总结

该论文提出了一种用于代码补全的混合序列模型，结合字符级输入与标记级输出，通过静态分析实现有效建议的过滤，并引入重复检测头以预测未登录词（OOV）标记。该设计在满足真实世界IDE约束（低延迟＜110ms、模型尺寸小、输出代码有效）的前提下实现了最先进水平的准确率，在Dart语料库上75.33%的请求在110ms内完成。

ABSTRACT

Code completion plays a prominent role in modern integrated development environments (IDEs). Machine learning has become ubiquitous in analogous natural language writing and search software, surfacing more relevant autocompletions and search suggestions in fewer keystrokes. Prior research has reported training high-accuracy, deep neural networks for modeling source code, but little attention has been given to the practical constraints imposed by interactive developer tools. In particular, neural language models for source code modeling like the one described in Maybe Deep Neural Networks are the Best Choice for Modeling Source Code are framed around code completion, but only report accuracy of next-token prediction. However, in order for a language model (LM) to work well within real-world code completion systems, it must also always make suggestions that produce valid code that typechecks to support code completion's role in correctness-checking; return instantaneous results to help programmers code more efficiently in fewer keystrokes; and be small enough to fit comfortably on disk and in memory on developer workstations, since virtually all modern IDEs run locally and support offline usage. To meet these additional requirements, we propose a novel design for predicting top-k next tokens that combines static analysis' ability to enumerate all valid keywords and in-scope identifiers with the ability of a language model to place a probability distribution over them. Our model mixes character-level input representation with token output to represent out-of-vocabulary (OOV) tokens meaningfully and minimize prediction latency. OOV tokens can be predicted through detection of local repetition common in software. This design achieves state-of-art accuracy in source code modeling and fits the constraints imposed by real-world code completion implementations in modern IDEs.

研究动机与目标

• 为解决高准确率神经代码模型与真实世界IDE实际约束（如低延迟、小模型尺寸、有效代码输出）之间的差距。
• 通过在极低延迟开销下整合神经语言建模，提升代码补全的相关性，超越仅依赖静态分析的局限。
• 在不依赖子词预测或多步推理的情况下，实现对新标识符（OOV）的预测，这类标识符在新函数和变量名中很常见。
• 设计一种在高准确率与交互式开发环境的性能和正确性要求之间取得平衡的模型。
• 在真实使用场景中验证模型的有效性，包括低延迟响应以及与离线IDE操作的兼容性。

提出的方法

• 该模型采用字符级输入表示以处理OOV标记，并使用标记级输出头在单步内预测完整标识符，最大限度降低延迟。
• 引入一个独立的神经头，用于检测局部重复模式（如'fooBarFoo'），以提示新出现的、此前未见过的标识符。
• 利用静态分析预先计算并过滤有效关键字和作用域内标识符的集合，确保所有预测结果在语法上正确且类型安全。
• 输出词汇表限制在10万个标记以内，以在模型尺寸与预测准确率之间取得平衡，同时通过重复检测实现OOV预测。
• 模型在大规模经过审查的生产级Dart代码语料库上进行训练，以确保对真实世界编程模式的泛化能力。
• 推理过程将语言模型的概率分布与静态分析相结合，仅对有效标记进行排序，确保正确性并减少搜索空间。

实验结果

研究问题

• RQ1 神经语言模型在代码补全过程中的高准确率是否能与IDE中实时使用的低延迟要求相兼容？
• RQ2 如何在不依赖子词分词的情况下，有效预测常见于新函数名和变量名的未登录词（OOV）标识符？
• RQ3 在交互式代码补全系统中，模型尺寸、推理延迟与预测准确率之间的权衡关系如何？
• RQ4 将神经语言建模与静态分析结合，能否同时提升代码补全建议的相关性与正确性？
• RQ5 该模型在现代IDE中典型的真实世界延迟约束下表现如何？

主要发现

• 该模型在大规模Dart语料库上的源代码建模任务中实现了最先进水平的准确率，优于以往的神经模型与n-gram基模型。
• 75.33%的预测请求在110ms内完成，满足交互式开发中感知为即时响应的100ms阈值要求。
• 平均预测延迟降低至109ms，表明尽管输出词汇表规模达10万个标记，模型仍保持高效。
• 混合设计通过局部重复检测实现了对OOV标记的准确预测，避免了子词预测或多步推理的需要。
• 通过结合神经语言建模与静态分析，模型保持了高相关性，确保所有建议均有效且类型正确。
• 该方法对模型尺寸与延迟约束具有鲁棒性，适用于本地、离线IDE中的部署。