[论文解读] Predicting Metamorphic Relation for Matrix Calculation Programs

Karishma Rahman, Upulee Kanewala|arXiv (Cornell University)|Feb 19, 2018

Software Testing and Debugging Techniques参考文献 10被引用 3

一句话总结

该论文提出了一种基于图核的机器学习方法，利用控制流图（CFGs）上的随机游走核，自动预测矩阵计算程序中的元变换关系（MRs）。该方法取得了较高的预测准确率，对置换型MR的AUC为0.81，对加法型和乘法型MR的AUC均超过0.7，表明无需人工专家输入，即可有效预测矩阵程序中的MR。

ABSTRACT

Matrices often represent important information in scientific applications and are involved in performing complex calculations. But systematically testing these applications is hard due to the oracle problem. Metamorphic testing is an effective approach to test such applications because it uses metamorphic relations to determine whether test cases have passed or failed. Metamorphic relations are typically identified with the help of a domain expert and is a labor intensive task. In this work we use a graph kernel based machine learning approach to predict metamorphic relations for matrix calculation programs. Previously, this graph kernel based machine learning approach was used to successfully predict metamorphic relations for programs that perform numerical calculations. Results of this study show that this approach can be used to predict metamorphic relations for matrix calculation programs as well.

研究动机与目标

• 为解决科学矩阵计算程序测试中缺乏可靠测试预言机的问题。
• 自动化识别元变换关系（MRs），这是元变换测试中关键但耗时的步骤。
• 将先前针对数值程序的研究扩展至涉及复杂数据结构和操作的矩阵计算函数。
• 评估基于图核的机器学习是否能有效预测基于矩阵的函数的MR。
• 评估随机游走核在捕捉矩阵计算CFG中与MR相关模式方面的泛化能力。

提出的方法

• 从矩阵计算函数构建控制流图（CFGs），其中节点表示原子操作，边表示控制流。
• 通过后处理为方法调用节点标注返回类型，并确保原子操作的粒度。
• 使用随机游走核计算CFG之间的相似性，该核通过求和图中所有路径对的相似性来度量相似性。
• 在核矩阵上训练支持向量机（SVM）分类器以预测MR，使用55个开源矩阵函数进行训练和测试。
• 通过10折交叉验证使用验证集优化超参数（C和λ），以防止过拟合。
• 使用ROC曲线下面积（AUC）评估模型性能，该指标衡量正负MR样本正确排序的概率。

实验结果

研究问题

• RQ1 基于图核的机器学习方法能否有效预测矩阵计算程序的元变换关系？
• RQ2 在预测矩阵函数MR方面，随机游走核的性能与其它图核相比如何？
• RQ3 哪些超参数设置（C和λ）能为不同类型的基于矩阵的MR提供最佳预测性能？
• RQ4 模型在未见的矩阵函数上的泛化能力如何，由验证集和测试集性能体现？
• RQ5 如最优λ值所示，CFG中的更长控制流路径是否对MR预测更具信息量？

主要发现

• 所提出方法在预测置换型元变换关系时AUC达到0.81，表明预测性能优异。
• 加法型和乘法型MR的AUC均超过0.7，表明在所有三类MR中均表现出一致的有效性。
• 所有MR类型最优λ值为0.9，表明CFG中更长的路径比短路径对MR预测更具信息量。
• 验证集和测试集AUC值高度一致，表明模型过拟合程度低，泛化能力良好。
• C值的选择对性能影响极小，表明模型在不同正则化强度下均具有鲁棒性。
• 结果证实，基于图核的学习方法可成功从数值程序扩展至矩阵计算程序，实现MR的自动化预测。