[论文解读] Project CodeNet: A Large-Scale AI for Code Dataset for Learning a Diversity of Coding Tasks

Ruchir Puri, David S. Kung+12 more|arXiv (Cornell University)|May 25, 2021

Advanced Malware Detection Techniques参考文献 34被引用 37

一句话总结

Project CodeNet 引入了一个大规模、多样化的数据集，包含跨 55 种编程语言的 1400 万份代码样本，共计超过 5 亿行代码，旨在加速 AI for Code 研究。该数据集支持代码分类、相似性检测、代码翻译和性能优化等任务的基准测试，并集成了测试集和预处理工具，可直接用于机器学习模型输入。

ABSTRACT

Advancements in deep learning and machine learning algorithms have enabled breakthrough progress in computer vision, speech recognition, natural language processing and beyond. In addition, over the last several decades, software has been built into the fabric of every aspect of our society. Together, these two trends have generated new interest in the fast-emerging research area of AI for Code. As software development becomes ubiquitous across all industries and code infrastructure of enterprise legacy applications ages, it is more critical than ever to increase software development productivity and modernize legacy applications. Over the last decade, datasets like ImageNet, with its large scale and diversity, have played a pivotal role in algorithmic advancements from computer vision to language and speech understanding. In this paper, we present Project CodeNet, a first-of-its-kind, very large scale, diverse, and high-quality dataset to accelerate the algorithmic advancements in AI for Code. It consists of 14M code samples and about 500M lines of code in 55 different programming languages. Project CodeNet is not only unique in its scale, but also in the diversity of coding tasks it can help benchmark: from code similarity and classification for advances in code recommendation algorithms, and code translation between a large variety programming languages, to advances in code performance (both runtime, and memory) improvement techniques. CodeNet also provides sample input and output test sets for over 7M code samples, which can be critical for determining code equivalence in different languages. As a usability feature, we provide several preprocessing tools in Project CodeNet to transform source codes into representations that can be readily used as inputs into machine learning models.

研究动机与目标

• 解决 AI for Code 领域对可扩展、多样化数据集日益增长的需求，其影响可类比 ImageNet 对计算机视觉领域的推动作用。
• 通过大规模、高质量的数据集，推动代码推荐、代码翻译和性能优化等研究。
• 为跨语言代码等价性提供标准化测试集，以支持 AI 模型的稳健评估。
• 通过将代码转换为机器学习模型可直接使用的表示形式的预处理工具，实现与机器学习流水线的直接集成。

提出的方法

• 从公共 GitHub 代码库中收集 1400 万份代码样本，涵盖 55 种编程语言，代码行数超过 5 亿行。
• 为代码样本添加元数据标签，包括编程语言、任务类型（如分类、相似性检测）以及性能特征。
• 为超过 700 万份代码样本提供输入和输出测试集，用于评估跨语言的功能等价性。
• 开发预处理工具，将原始源代码转换为适合深度学习模型的结构化表示。
• 通过包含广泛开源项目和软件开发任务，确保数据多样性。
• 将数据集结构化以支持多种 AI for Code 任务，包括代码翻译、代码搜索和性能预测。

实验结果

研究问题

• RQ1 大规模、多样化的数据集是否能显著加速 AI for Code 在多个任务上的进展？
• RQ2 当在 Project CodeNet 上训练时，现有 AI 模型在代码分类、相似性检测和跨语言代码翻译方面的表现如何？
• RQ3 Project CodeNet 中的测试集在多大程度上能提升跨编程语言代码功能等价性的评估效果？
• RQ4 Project CodeNet 中的预处理工具在多大程度上支持将代码集成到深度学习流水线中？
• RQ5 数据集的规模和多样性对代码相关任务中 AI 模型泛化能力有何影响？

主要发现

• Project CodeNet 包含 1400 万份代码样本和超过 5 亿行代码，覆盖 55 种编程语言，是目前已知最大的 AI for Code 数据集。
• 该数据集为超过 700 万份代码样本提供了测试集，可支持对跨语言代码等价性和功能正确性的稳健评估。
• 预处理工具的引入使得代码可直接作为机器学习模型的输入，显著降低了数据准备的门槛。
• 该数据集支持多样化的 AI for Code 任务，包括代码分类、相似性检测、代码翻译和性能优化。
• 通过提供标准化基准和多样化的编码任务，Project CodeNet 支持可复现且可扩展的 AI for Code 研究。
• 该数据集的规模和多样性使其成为类似计算机视觉领域 ImageNet 的基础性资源，有望推动代码智能领域的算法创新。