[论文解读] Neural Bug Finding: A Study of Opportunities and Challenges

Andrew Habib, Michael Pradel|arXiv (Cornell University)|Jun 1, 2019

Software Engineering Research参考文献 67被引用 15

一句话总结

本文研究神经程序错误检测——通过传统静态分析器提供的标注样例，训练深度学习模型以检测特定代码错误。结果表明，神经模型在部分错误模式上可实现超过80%的精确率与召回率，但在符号分析轻易捕捉的程序属性方面表现不佳，凸显了基于学习的错误检测方法的潜力与局限性。

ABSTRACT

Static analysis is one of the most widely adopted techniques to find software bugs before code is put in production. Designing and implementing effective and efficient static analyses is difficult and requires high expertise, which results in only a few experts able to write such analyses. This paper explores the opportunities and challenges of an alternative way of creating static bug detectors: neural bug finding. The basic idea is to formulate bug detection as a classification problem, and to address this problem with neural networks trained on examples of buggy and non-buggy code. We systematically study the effectiveness of this approach based on code examples labeled by a state-of-the-art, static bug detector. Our results show that neural bug finding is surprisingly effective for some bug patterns, sometimes reaching a precision and recall of over 80%, but also that it struggles to understand some program properties obvious to a traditional analysis. A qualitative analysis of the results provides insights into why neural bug finders sometimes work and sometimes do not work. We also identify pitfalls in selecting the code examples used to train and validate neural bug finders, and propose an algorithm for selecting effective training data.

研究动机与目标

• 探究神经网络是否能通过模仿传统静态分析，有效学习检测特定软件错误。
• 评估端到端神经错误检测的可行性与有效性，无需人工特征工程。
• 识别训练神经错误检测器时数据选择中的陷阱，并提出改进数据质量的方法。
• 理解神经模型在捕捉符号分析可轻松处理的程序语义方面的能力局限。
• 为未来研究提供指导，阐明神经错误检测在何时、为何成功或失败。

提出的方法

• 利用现有的、生产级别的静态错误检测器生成标注训练数据：针对20种常见错误模式的错误与非错误代码片段。
• 将代码表示为标记序列，并训练神经网络对每种特定错误模式分类代码为错误或非错误。
• 采用近似最近邻（ANN）采样策略，通过选择多样化且具代表性的非错误示例来平衡训练数据。
• 使用标准深度学习架构（如卷积神经网络或Transformer）在标记化代码序列上训练模型，以学习判别性特征。
• 通过从真实世界代码库中提取的保留测试集，使用精确率、召回率和F1分数评估模型性能。
• 对模型预测结果进行定性分析，以理解失败案例，并识别正确/错误分类中的模式。

实验结果

研究问题

• RQ1 当在传统静态分析器提供的样例上进行训练时，神经网络能否有效学习检测特定错误模式？
• RQ2 神经错误检测器在多种错误模式下的性能与原始静态分析器相比如何？
• RQ3 在有效神经错误检测中，数据选择的关键挑战是什么？如何加以缓解？
• RQ4 为何神经模型对某些错误模式表现良好，而对其他模式（尤其是符号分析可轻易检测的模式）表现失败？
• RQ5 在小规模或类别不平衡的训练数据集下，仍能在多大程度上获得有效的神经错误检测器？

主要发现

• 神经错误检测在多种常见错误模式上实现了超过80%的精确率与召回率，表明在特定情况下具有强大有效性。
• 对于某些错误模式（如引用相等性误用），神经模型能良好泛化，并学习到与错误相关的显著代码模式。
• 尽管在部分模式上表现良好，神经模型仍无法检测出对符号静态分析而言微不足道的程序属性，如控制流或类型安全性。
• 模型常学习到表面的语法模式而非深层语义属性，导致在语义复杂的错误上出现大量假阴性。
• 令人惊讶的是，经过精心选择的小型训练数据集——尤其是结合基于ANN的采样策略以提升数据多样性——也能产生有效模型。
• 数据选择不当会导致模型产生偏差或性能不佳，本文识别出具体陷阱，并提出一种引导式采样策略以避免这些问题。