[论文解读] Source Forager: A Search Engine for Similar Source Code

Vineeth Kashyap, David Bingham Brown+3 more|arXiv (Cornell University)|Jun 8, 2017

Software Engineering Research参考文献 14被引用 7

一句话总结

Source Forager 是一种代码搜索引擎，通过分析多种代码特征类别（如控制流、数据依赖关系和抽象语法树结构）来检索语义和语法上相似的 C/C++ 函数，采用统一的基于向量的相似性模型。它在大型数据库中即使相关结果稀少时也能实现高精度的代码相关性排序，优于基于文本的搜索方法，从而提升了代码补全和调试任务中的开发效率。

ABSTRACT

Developers spend a significant amount of time searching for code: e.g., to understand how to complete, correct, or adapt their own code for a new context. Unfortunately, the state of the art in code search has not evolved much beyond text search over tokenized source. Code has much richer structure and semantics than normal text, and this property can be exploited to specialize the code-search process for better querying, searching, and ranking of code-search results. We present a new code-search engine named Source Forager. Given a query in the form of a C/C++ function, Source Forager searches a pre-populated code database for similar C/C++ functions. Source Forager preprocesses the database to extract a variety of simple code features that capture different aspects of code. A search returns the $k$ functions in the database that are most similar to the query, based on the various extracted code features. We tested the usefulness of Source Forager using a variety of code-search queries from two domains. Our experiments show that the ranked results returned by Source Forager are accurate, and that query-relevant functions can be reliably retrieved even when searching through a large code database that contains very few query-relevant functions. We believe that Source Forager is a first step towards much-needed tools that provide a better code-search experience.

研究动机与目标

• 为解决基于文本的代码搜索方法的局限性，后者常因忽略语法和语义而遗漏相关代码。
• 通过一致的特征观测框架，统一查询和语料元素中代码语义的规范表达。
• 通过允许新增特征类别而无需重新设计核心搜索机制，实现可扩展性。
• 自动选择或学习不同查询领域中最佳的特征类别权重，从而在无需先验知识的情况下提升搜索相关性。
• 提供可扩展、高精度且面向开发者的代码搜索体验，支持程序修复与程序合成。

提出的方法

• 对 C/C++ 代码语料库进行预处理，提取多种特征类别（如控制流、数据依赖关系、注释、AST 模式）并转化为向量化的特征观测结果。
• 使用基于向量的相似性模型，将多种特征类别组合起来，计算查询函数与语料库函数之间的整体代码相似度。
• 采用动态特征权重选择机制（dyn-select），在无需先验领域知识的情况下，识别与特定查询最相关的特征类别。
• 利用监督学习（SVM）在标注的训练数据上预先计算特定领域中最佳的特征类别权重。
• 应用基于相似度的邻居搜索（如 k-NN）从数据库中检索最相似的 k 个函数。
• 采用混合查询机制，查询为代码片段，且查询与语料元素使用共享的特征提取技术计算相似度。

实验结果

研究问题

• RQ1 统一的、基于特征的方法是否能超越传统基于文本的方法，显著提升代码搜索的准确性？
• RQ2 动态特征权重选择（dyn-select）机制在无需先验领域知识的情况下，识别相关特征类别的有效性如何？
• RQ3 多种特征类别联合使用时，与单独使用任一特征相比，其在检索性能上的提升程度如何？
• RQ4 基于 SVM 的权重学习技术在不同代码领域中的泛化能力如何？
• RQ5 当干扰函数数量增加时，Source Forager 在检索准确性方面的可扩展性如何？

主要发现

• 在 libc-qs 查询集上，Source Forager 使用 svm-weights 配置实现了 0.96 的平均平均精度（MAP）得分，表明检索精度极高。
• dyn-select 配置在相同 libc-qs 集上实现了 0.95 的 MAP 得分，证明其在无需标注训练数据的情况下仍具有强大性能。
• 当干扰函数数量从 100 增加到 204,800 时，MAP 得分仍保持在 0.70 以上，显示出在大规模代码库中的鲁棒性。
• 多种特征类别（如控制流、数据依赖关系、注释）的组合显著优于单一特征类别，其中 'cross-weights' 配置实现了最高的整体 MAP 得分。
• 'equal-all' 配置（即为所有特征类别分配相等权重）仍实现了 0.84 的 MAP 得分，表明即使未加权的多特征搜索也优于单特征或基于文本的方法。
• 研究表明，'Type–Operation Coupling' 和 'Control-Flow Graph' 等特征类别对相似度排序有显著贡献，而 'Comments' 等其他特征类别影响较小，但仍能提升整体结果。