[论文解读] On the Applicability of Explainable Artificial Intelligence for Software Requirement Analysis

Behnaz Jamasb, Reza Akbari+1 more|arXiv (Cornell University)|Feb 10, 2023

Software Engineering Research被引用 4

一句话总结

本文提出了一种基于LIME算法的可解释人工智能（XAI）方法，用于软件需求分类，以提高机器学习预测的透明度。在PROMISE数据集上的评估表明，该方法增强了分析人员对分类决策的理解，并有助于特征分析，展示了XAI在需求工程中的价值，可衡量地提升了可解释性和特征相关性。

ABSTRACT

The applications of Artificial Intelligence (AI) methods especially machine learning techniques have increased in recent years. Classification algorithms have been successfully applied to different problems such as requirement classification. Although these algorithms have good performance, most of them cannot explain how they make a decision. Explainable Artificial Intelligence (XAI) is a set of new techniques that explain the predictions of machine learning algorithms. In this work, the applicability of XAI for software requirement classification is studied. An explainable software requirement classifier is presented using the LIME algorithm. The explainability of the proposed method is studied by applying it to the PROMISE software requirement dataset. The results show that XAI can help the analyst or requirement specifier to better understand why a specific requirement is classified as functional or non-functional. The important keywords for such decisions are identified and analyzed in detail. The experimental study shows that the XAI can be used to help analysts and requirement specifiers to better understand the predictions of the classifiers for categorizing software requirements. Also, the effect of the XAI on feature reduction is analyzed. The results showed that the XAI model has a positive role in feature analysis.

研究动机与目标

• 探讨可解释人工智能（XAI）技术在软件需求分类中的适用性。
• 开发一种可解释分类器，用于区分功能需求与非功能需求。
• 评估XAI如何提升分析人员对分类器预测的理解能力。
• 分析XAI对需求分类任务中特征选择与降维的影响。
• 利用可解释性技术识别影响分类决策的关键文本特征。

提出的方法

• 本研究采用LIME（局部可解释模型无关解释）算法，为机器学习分类器在软件需求上做出的预测生成局部解释。
• 在PROMISE软件需求数据集上训练一个监督学习模型，以将需求分类为功能或非功能类型。
• 在模型训练完成后应用LIME，通过扰动输入特征并观察预测变化的局部行为，来解释单个预测结果。
• 以特征重要性分数的形式生成解释，突出显示对分类结果贡献最大的词语或短语。
• 该方法使分析人员能够检查特定需求为何被分类为某种类型，从而支持可追溯性与验证。
• 通过评估LIME在多个预测中识别出的高影响力特征的频率与相关性，分析特征降维效果。

实验结果

研究问题

• RQ1 XAI技术（如LIME）在多大程度上能提升机器学习模型在软件需求分类中的可解释性？
• RQ2 哪些文本特征对判断需求是否为功能或非功能需求具有最大影响力？
• RQ3 XAI的使用如何影响需求分类中的特征选择与降维过程？
• RQ4 XAI能否帮助需求工程师更好地理解并验证分类器的决策？
• RQ5 LIME生成的解释在不同需求实例之间的一致性与可靠性如何？

主要发现

• XAI增强的分类器通过为每个预测提供人类可读的解释，显著提升了透明度，使分析人员能够验证决策。
• 关键词如“should”（应）、“must”（必须）、“user”（用户）和“performance”（性能）被一致识别为影响分类结果的主要因素。
• LIME生成的解释表明，功能需求通常包含动作动词和具体条件，而非功能需求则强调质量属性。
• XAI模型在特征分析中发挥了积极作用，有助于识别并优先处理与分类相关的特征。
• 特征降维得到了XAI的支持，因为频繁出现且具有高影响力的特征被系统性地识别与分析。
• 实验评估证实，XAI提升了机器学习模型在需求工程工作流中的信任度与可用性。