[论文解读] Neural Code Summarization: How Far Are We?

Ensheng Shi, Yanlin Wang+6 more|arXiv (Cornell University)|Jul 15, 2021

Software Engineering Research参考文献 57被引用 4

一句话总结

本文对三种基准数据集上的五种最先进神经代码摘要模型进行了系统性评估，揭示了BLEU指标使用中的关键缺陷、代码预处理的影响以及数据集特征对模型性能的影响。研究为更可靠的评估提供了可操作的指导，并指出了自动化代码摘要领域中的关键挑战与未来研究方向。

ABSTRACT

Source code summaries are important for the comprehension and maintenance of programs. However, there are plenty of programs with missing, outdated, or mismatched summaries. Recently, deep learning techniques have been exploited to automatically generate summaries for given code snippets. To achieve a profound understanding of how far we are from solving this problem, in this paper, we conduct a systematic and in-depth analysis of five state-of-the-art neural source code summarization models on three widely used datasets. Our evaluation results suggest that: (1) The BLEU metric, which is widely used by existing work for evaluating the performance of the summarization models, has many variants. Ignoring the differences among the BLEU variants could affect the validity of the claimed results. Furthermore, we discover an important, previously unknown bug about BLEU calculation in a commonly-used software package. (2) Code pre-processing choices can have a large impact on the summarization performance, therefore they should not be ignored. (3) Some important characteristics of datasets (corpus size, data splitting method, and duplication ratio) have a significant impact on model evaluation. Based on the experimental results, we give some actionable guidelines on more systematic ways for evaluating code summarization and choosing the best method in different scenarios. We also suggest possible future research directions. We believe that our results can be of great help for practitioners and researchers in this interesting area.

研究动机与目标

• 使用标准化基准评估现有神经代码摘要模型的可靠性和有效性。
• 研究BLEU指标计算与实现方式的差异对性能评估的影响。
• 评估代码预处理选择对模型摘要性能的影响。
• 考察数据集特征（如语料规模、数据划分方式和重复率）对模型评估结果的影响。
• 为代码摘要研究中的更系统化评估和方法选择提供可操作的指导。

提出的方法

• 在三个广泛使用的数据集（ASP、Big-Vul 和 CodeXGLUE）上对五种最先进神经代码摘要模型进行系统性评估。
• 对BLEU指标变体及其对性能比较影响的全面分析，包括识别出一个广泛使用的软件包中此前未知的错误。
• 对代码预处理技术进行消融研究，以衡量其对模型输出质量和评估分数的影响。
• 对数据集层面因素（包括语料规模、数据划分策略和重复率）在模型泛化能力和评估稳定性方面的影响进行实证研究。
• 对不同评估设置下模型性能的统计分析与比较，以识别一致趋势和异常情况。
• 基于实证发现和模型比较的最佳实践，提出标准化评估协议的指导建议。

实验结果

研究问题

• RQ1 BLEU指标的不同变体如何影响代码摘要模型报告的性能？
• RQ2 代码预处理选择在多大程度上影响模型生成摘要的质量与一致性？
• RQ3 数据集特定特征（如语料规模、数据划分方法和重复率）如何影响模型评估结果？
• RQ4 一个广泛使用的BLEU实现中此前未知的错误对代码摘要模型比较有何影响？
• RQ5 哪些系统性评估实践能够提升代码摘要研究的可靠性和可重现性？

主要发现

• BLEU指标的不同变体产生显著不同的性能分数，削弱了跨研究直接比较的有效性。
• 一个广泛使用的BLEU计算软件包中存在此前未知的错误，导致指标值计算错误，影响了报告结果的可靠性。
• 代码预处理选择（如分词和归一化）对模型性能有显著影响，必须在实验中统一标准。
• 语料规模、数据划分策略和重复率等数据集特征显著影响模型评估结果，应谨慎控制。
• 当前代码摘要研究的评估实践缺乏一致性和标准化，可能导致误导性结论。
• 本研究为未来研究中更系统化和可靠的代码摘要模型评估提供了可操作的指导。