[论文解读] Using Transfer Learning for Code-Related Tasks

Antonio Mastropaolo, Nathan Cooper+5 more|arXiv (Cornell University)|Jun 17, 2022

Software Engineering Research被引用 5

一句话总结

本文研究了使用T5模型进行迁移学习在四种代码相关任务（自动错误修复、突变体注入、断言语句生成和代码摘要）中的应用，表明预训练显著提升了性能，但多任务微调在所有任务中并未一致地提高结果。

ABSTRACT

Deep learning (DL) techniques have been used to support several code-related tasks such as code summarization and bug-fixing. In particular, pre-trained transformer models are on the rise, also thanks to the excellent results they achieved in Natural Language Processing (NLP) tasks. The basic idea behind these models is to first pre-train them on a generic dataset using a self-supervised task (e.g, filling masked words in sentences). Then, these models are fine-tuned to support specific tasks of interest (e.g, language translation). A single model can be fine-tuned to support multiple tasks, possibly exploiting the benefits of transfer learning. This means that knowledge acquired to solve a specific task (e.g, language translation) can be useful to boost performance on another task (e.g, sentiment classification). While the benefits of transfer learning have been widely studied in NLP, limited empirical evidence is available when it comes to code-related tasks. In this paper, we assess the performance of the Text-To-Text Transfer Transformer (T5) model in supporting four different code-related tasks: (i) automatic bug-fixing, (ii) injection of code mutants, (iii) generation of assert statements, and (iv) code summarization. We pay particular attention in studying the role played by pre-training and multi-task fine-tuning on the model's performance. We show that (i) the T5 can achieve better performance as compared to state-of-the-art baselines; and (ii) while pre-training helps the model, not all tasks benefit from a multi-task fine-tuning.

研究动机与目标

• 评估通过T5模型进行迁移学习在多样化代码相关任务中的有效性。
• 评估在大规模代码与文本数据集上进行预训练是否能提升下游代码任务的性能。
• 探究在不同代码任务上进行多任务微调是否能增强模型的泛化能力与性能。
• 通过莱文施泰因距离相关性分析，评估训练集与测试集之间的数据泄露风险。
• 在四个不同的代码相关自然语言处理任务中，对比T5模型与现有最先进基线模型的性能。

提出的方法

• 在包含499,618个英文句子和1,569,889个Java方法的联合数据集上，使用自监督掩码语言建模目标预训练T5模型。
• 在四个不同的代码相关任务上微调预训练的T5模型：错误修复、突变体注入、断言生成和代码摘要。
• 通过联合训练模型在所有四个数据集上，应用多任务微调，以评估异质数据类型之间的可迁移性。
• 计算训练集与测试集之间的成对莱文施泰因距离，以检测数据窥探行为并评估模型的泛化能力。
• 使用点 biserial 相关系数（PBC）和皮尔逊相关系数分析训练-测试相似性与模型性能之间的关系。
• 使用BLEU分数和完美预测准确率评估模型性能，并与现有最先进基线模型进行比较。

实验结果

研究问题

• RQ1 在大规模代码与自然语言数据集上对T5模型进行预训练，是否能提升其在下游代码相关任务中的性能？
• RQ2 在多样化代码任务（如原始代码与抽象化代码及自然语言）之间进行多任务微调，在多大程度上能提升模型性能？
• RQ3 训练集与测试集之间的数据重叠如何影响模型性能？模型的成功是由于数据泄露还是泛化能力？
• RQ4 T5模型在四个不同的代码相关任务中的性能与现有最先进深度学习模型相比如何？
• RQ5 是否存在某些任务类型，使得多任务学习能带来可测量的收益？还是性能增益在不同任务间表现不一致？

主要发现

• 在所有四个代码相关任务中，预训练均显著提升了模型性能，证实了预训练在代码表征学习中的价值。
• 多任务微调并未一致地提升性能，表明不同数据类型（如原始代码、抽象化代码、自然语言）可能阻碍知识迁移。
• 即使现有基线模型未使用预训练，或需要额外约22小时的预训练计算时间，T5模型在所有四个任务中仍优于这些基线模型。
• 相关性分析显示，训练-测试莱文施泰因距离与性能之间存在低至中等程度的负相关，表明数据泄露极少，且模型具备强大的泛化能力。
• 随着训练与测试样本之间的最小距离和中位数距离增加，模型性能下降，表明其对分布偏移较为敏感。
• 对于完美预测，最大距离与性能之间观察到正相关，可能由于异常值或罕见测试用例所致，但总体相关性仍较低，支持模型的鲁棒性。