[论文解读] On the Effectiveness of Transfer Learning for Code Search

Pasquale Salza, Christoph Schwizer+2 more|arXiv (Cornell University)|Aug 12, 2021

Software Engineering Research被引用 6

一句话总结

本文提出了一种基于 BERT 的多模态嵌入模型（MEM）的迁移学习方法，用于代码搜索。该模型在自然语言和源代码上进行预训练，随后在 StackOverflow 问题标题与代码回答配对数据上进行微调。结果表明，预训练模型显著优于非预训练模型，甚至超越了 Lucene 信息检索基线，尤其是在结合检索过滤时表现更优，证明了在低数据场景下迁移学习在代码搜索中的有效性。

ABSTRACT

The Transformer architecture and transfer learning have marked a quantum leap in natural language processing, improving the state of the art across a range of text-based tasks. This paper examines how these advancements can be applied to and improve code search. To this end, we pre-train a BERT-based model on combinations of natural language and source code data and fine-tune it on pairs of StackOverflow question titles and code answers. Our results show that the pre-trained models consistently outperform the models that were not pre-trained. In cases where the model was pre-trained on natural language "and" source code data, it also outperforms an information retrieval baseline based on Lucene. Also, we demonstrated that the combined use of an information retrieval-based approach followed by a Transformer leads to the best results overall, especially when searching into a large search pool. Transfer learning is particularly effective when much pre-training data is available and fine-tuning data is limited. We demonstrate that natural language processing models based on the Transformer architecture can be directly applied to source code analysis tasks, such as code search. With the development of Transformer models designed more specifically for dealing with source code data, we believe the results of source code analysis tasks can be further improved.

研究动机与目标

• 探究使用 BERT 的迁移学习是否能提升代码搜索性能。
• 评估在自然语言和源代码数据上联合预训练对代码检索任务的有效性。
• 将所提出的 MEM 模型与传统的 Lucene 信息检索基线进行比较。
• 分析预训练数据规模和微调数据稀缺性对模型性能的影响。
• 探讨 BERT 在处理简短、简洁的代码搜索查询时的局限性。

提出的方法

• 在大规模自然语言和源代码语料上分别预训练两个独立的 BERT 编码器，以学习通用表征。
• 将两个编码器整合为一个多模态嵌入模型（MEM），联合编码查询和代码片段。
• 在包含 StackOverflow 问题标题和对应代码答案的标注代码搜索数据集上微调 MEM。
• 采用两阶段检索流程：首先使用 Lucene 进行候选过滤，然后使用预训练的 MEM 进行排序。
• 使用标准指标（如平均倒数排名 MRR 和 Aroma 分数）评估性能。
• 通过分析注意力模式和在简洁输入上的表现，研究模型在短查询上的行为。

实验结果

研究问题

• RQ1 与非预训练模型相比，基于自然语言和源代码数据的预训练是否能提升代码搜索性能？
• RQ2 所提出的 MEM 模型与传统的基于 Lucene 的信息检索基线相比表现如何？
• RQ3 当微调数据有限但预训练数据丰富时，迁移学习的影响是什么？
• RQ4 结合使用 Lucene 和预训练 MEM 是否能在大规模代码搜索中取得更优结果？
• RQ5 由于注意力机制的限制，BERT 是否难以建模非常简短的代码搜索查询？

主要发现

• 基于 BERT 的预训练模型在代码搜索任务中始终优于非预训练模型，证明了迁移学习的有效性。
• 在自然语言和源代码数据上联合预训练的 MEM 模型优于基于 Lucene 的信息检索基线，尤其在大规模搜索池中表现更优。
• 采用 Lucene 进行候选过滤后，再使用预训练 MEM 进行排序的混合方法，在 MRR 和 Aroma 分数上取得了最佳整体性能。
• 当预训练数据丰富但微调数据有限时，迁移学习效果最显著，这与现实世界中代码搜索的常见约束一致。
• BERT 在建模极简短查询（少于 10 个词元）时表现出局限性，表明其可能成为短自然语言代码搜索输入的瓶颈。
• 注意力头分析表明，BERT 可能无法最优地聚焦于代码中的语法或语义结构，提示可通过引入抽象语法树（AST）或结构化特征对模型架构进行改进。