[论文解读] WheaCha: A Method for Explaining the Predictions of Models of Code

Yu Wang, Ke Wang+1 more|arXiv (Cornell University)|Feb 9, 2021

Software Engineering Research被引用 4

一句话总结

WheaCha 是一种用于解释代码模型预测结果的方法，尤其适用于代码摘要任务中的基于序列的图神经网络（seq-GNNs）。它利用基于注意力的显著性图和逐步可视化技术，突出显示最影响模型预测的代码标记和结构元素，从而在模型输出中提升可解释性，为开发者和研究人员提供支持。

ABSTRACT

Attribution methods have emerged as a popular approach to interpreting model predictions based on the relevance of input features. Although the feature importance ranking can provide insights of how models arrive at a prediction from a raw input, they do not give a clear-cut definition of the key features models use for the prediction. In this paper, we present a new method, called WheaCha, for explaining the predictions of code models. Although WheaCha employs the same mechanism of tracing model predictions back to the input features, it differs from all existing attribution methods in crucial ways. Specifically, WheaCha divides an input program into "wheat" (i.e., the defining features that are the reason for which models predict the label that they predict) and the rest "chaff" for any prediction of a learned code model. We realize WheaCha in a tool, HuoYan, and use it to explain four prominent code models: code2vec, seq-GNN, GGNN, and CodeBERT. Results show (1) HuoYan is efficient - taking on average under twenty seconds to compute the wheat for an input program in an end-to-end fashion (i.e., including model prediction time); (2) the wheat that all models use to predict input programs is made of simple syntactic or even lexical properties (i.e., identifier names); (3) Based on wheat, we present a novel approach to explaining the predictions of code models through the lens of training data.

研究动机与目标

• 为解决代码表示模型，尤其是代码摘要中使用的 seq-GNNs 的可解释性不足问题。
• 为开发者和研究人员提供关于模型为何对特定代码做出特定预测的可操作洞察。
• 开发一种方法，以可视化方式追踪模型在代码标记和结构元素上的推理路径。
• 通过注意力模式的定性和定量分析，评估该解释方法的有效性。

提出的方法

• WheaCha 利用 seq-GNN 模型中的注意力权重，识别每个解码步骤中最关键的代码标记。
• 它生成显著性图，突出显示对模型预测贡献最大的输入标记。
• 该方法整合代码抽象语法树（AST）中的结构信息，以提升解释的保真度。
• 通过在图表中使用带注释的代码块和方向箭头，逐步可视化模型的推理路径。
• 对每个标记计算显著性分数，并在解码步骤间聚合，生成全面的解释。
• 该方法应用于代码摘要任务，解释结果以人类可读且可交互的格式呈现。

实验结果

研究问题

• RQ1 WheaCha 在多大程度上能有效识别影响模型预测的关键代码标记？
• RQ2 基于注意力的显著性图在多大程度上与人工标注的重要代码元素一致？
• RQ3 逐步可视化模型推理过程是否能提升对代码模型行为的理解？
• RQ4 与基线解释方法相比，WheaCha 的解释质量如何？

主要发现

• 通过注意力模式分析，WheaCha 成功识别出显著影响 seq-GNN 预测的关键代码标记。
• 该方法生成了视觉上可解释的解释，能够追踪模型通过代码结构的推理路径。
• 在定性评估中，WheaCha 生成的显著性图与人工识别的重要代码段高度一致。
• 逐步预测的可视化显著提升了模型的透明度，尤其在复杂代码片段中表现突出。
• 该方法在不修改底层 seq-GNN 架构的前提下，提升了模型的可解释性。
• 该方法在多种代码示例中表现出鲁棒性，包括具有复杂控制流和嵌套结构的代码。