[论文解读] TranS^3: A Transformer-based Framework for Unifying Code Summarization and Code Search

Wenhua Wang, Yuqun Zhang+2 more|arXiv (Cornell University)|Mar 6, 2020

Software Engineering Research参考文献 60被引用 19

一句话总结

TranS^3 提出了一种基于 Transformer 的统一框架，通过演员-评论家强化学习设置，联合优化代码摘要生成与代码搜索。通过迭代地根据评论家反馈优化生成的注释，并利用这些注释提升代码搜索性能，TranS^3 在基准数据集上的两个任务中均显著优于当前最先进方法。

ABSTRACT

Code summarization and code search have been widely adopted in sofwaredevelopmentandmaintenance. However, fewstudieshave explored the efcacy of unifying them. In this paper, we propose TranS^3 , a transformer-based framework to integrate code summarization with code search. Specifcally, for code summarization,TranS^3 enables an actor-critic network, where in the actor network, we encode the collected code snippets via transformer- and tree-transformer-based encoder and decode the given code snippet to generate its comment. Meanwhile, we iteratively tune the actor network via the feedback from the critic network for enhancing the quality of the generated comments. Furthermore, we import the generated comments to code search for enhancing its accuracy. To evaluatetheefectivenessof TranS^3 , we conduct a set of experimental studies and case studies where the experimental results suggest that TranS^3 can signifcantly outperform multiple state-of-the-art approaches in both code summarization and code search and the study results further strengthen the efcacy of TranS^3 from the developers' points of view.

研究动机与目标

• 为解决现有方法中代码摘要生成与代码搜索之间互益有限的问题，将二者统一为单一框架。
• 提升代码摘要质量，因为现有方法的摘要质量通常不理想（例如，BLEU-1 约为 20%）；
• 通过引入自动生成的高质量注释作为语义信号，提升代码搜索的准确性。
• 探索利用搜索反馈来优化代码注释生成的可行性和有效性。
• 提供一个统一的端到端解决方案，同时惠及软件维护与开发工作流程。

提出的方法

• 采用双编码器架构，结合标准 Transformer 和 Tree-Transformer 编码器，以捕捉代码的词汇与语法结构，实现代码表征。
• 在演员组件中使用解码器网络，从代码片段生成自然语言注释。
• 引入评论家网络，基于注释与代码的相关性及语义一致性来评估生成的注释。
• 应用强化学习，通过评论家的反馈迭代微调演员网络，减少暴露偏差并提升注释质量。
• 重用生成的注释作为语义表征，通过提升与自然语言查询的语义匹配度，增强代码搜索性能。
• 利用两项任务之间的共享表征，实现联合优化与相互提升。

实验结果

研究问题

• RQ1 统一框架是否能够超越孤立优化，在联合提升代码摘要与代码搜索性能方面取得显著成效？
• RQ2 演员-评论家强化学习设置在优化代码注释质量以提升下游搜索性能方面有多有效？
• RQ3 当作为语义信号使用时，生成的注释在多大程度上提升了代码搜索的准确性？
• RQ4 代码摘要与代码搜索的整合是否能带来更符合开发者需求且更准确的结果？
• RQ5 搜索结果与注释生成之间的反馈回路是否能提升生成注释的鲁棒性与相关性？

主要发现

• TranS^3 在代码摘要任务中显著优于多种最先进方法，在标准基准上取得了更高的 BLEU 和 ROUGE 分数。
• 将生成的注释整合到代码搜索中，显著提升了检索准确性，证明了合成注释作为语义信号的价值。
• 演员-评论家反馈机制有效减少了暴露偏差，并提升了生成注释的相关性与流畅性。
• 案例研究证实，开发者认为生成的注释比独立模型生成的注释更准确、更有用。
• 统一框架在两项任务上同时实现了卓越性能，验证了联合优化的互惠效益。
• 实证结果表明，评论家反馈使注释质量相比标准序列到序列基线实现了可测量的提升。