[论文解读] Probabilistic Software Modeling: A Data-driven Paradigm for Software Analysis

Hannes Thaller, Lukas Linsbauer+2 more|arXiv (Cornell University)|Dec 17, 2019

Software Testing and Debugging Techniques参考文献 58被引用 4

一句话总结

本文提出了概率软件建模（PSM），这是一种数据驱动的范式，通过静态分析和动态分析来分析传统软件，以合成能够模拟和量化程序行为的概率模型。其主要贡献是一个可扩展、可重用的框架，支持预测性和生成性软件工程应用，如测试用例生成、异常检测和因果推断，已在多个真实世界项目中得到验证，实验结果表现强劲。

ABSTRACT

Software systems are complex, and behavioral comprehension with the increasing amount of AI components challenges traditional testing and maintenance strategies.The lack of tools and methodologies for behavioral software comprehension leaves developers to testing and debugging that work in the boundaries of known scenarios. We present Probabilistic Software Modeling (PSM), a data-driven modeling paradigm for predictive and generative methods in software engineering. PSM analyzes a program and synthesizes a network of probabilistic models that can simulate and quantify the original program's behavior. The approach extracts the type, executable, and property structure of a program and copies its topology. Each model is then optimized towards the observed runtime leading to a network that reflects the system's structure and behavior. The resulting network allows for the full spectrum of statistical inferential analysis with which rich predictive and generative applications can be built. Applications range from the visualization of states, inferential queries, test case generation, and anomaly detection up to the stochastic execution of the modeled system. In this work, we present the modeling methodologies, an empirical study of the runtime behavior of software systems, and a comprehensive study on PSM modeled systems. Results indicate that PSM is a solid foundation for structural and behavioral software comprehension applications.

研究动机与目标

• 为应对复杂软件系统中日益增长的行为理解挑战，特别是随着人工智能组件集成的增加。
• 开发一种方法论，使预测性和生成性软件工程应用成为可能，而无需修改编程语言或开发工作流。
• 通过从现有代码库中合成统计模型，弥合传统软件工程与概率建模之间的差距。
• 评估概率模型在捕捉真实世界软件系统结构和行为语义方面的可行性。

提出的方法

• 通过静态代码分析提取程序结构，重点关注类型、方法、字段和属性，同时抽象控制流和语句。
• 通过观察执行期间的属性访问和方法调用，收集动态运行时行为。
• 通过结合静态结构和观测到的运行时数据，构建概率模型网络，使用低容量模型以避免过拟合。
• 使用基于似然的训练优化模型，离散变量使用条件概率表（CPD），连续变量使用归一化流。
• 通过采样、条件化和似然评估实现统计推断，以支持测试用例生成和异常检测等应用。
• 使用原型工具 Gradient 在真实世界 Java 项目上实现并评估该方法。

实验结果

研究问题

• RQ1 能否通过静态和动态分析，从传统面向对象软件中有效合成概率模型？
• RQ2 这些模型在在多大程度上能够模拟和量化真实软件系统的的行为特征？
• RQ3 这些模型在不同规模和架构的软件项目之间泛化能力如何？
• RQ4 这些模型能否支持实际的软件工程应用，如测试用例生成和异常检测？
• RQ5 该方法在处理复杂或高度动态的代码结构时存在哪些局限性？

主要发现

• 实证评估表明，PSM 模型在多样化项目中均表现出低且一致的负对数似然（NLL），表明模型拟合良好且泛化能力强。
• 大多数模型维度较低，支持使用低容量模型而不过拟合，因为训练和测试 NLL 值无显著差异。
• 定性检查显示模型近似质量较高，但因模型容量不足，仍存在质量泄漏和模式连通性等问题。
• 推理管道成功支持多维信息传播和因果推理，实现跨模型的一致生成与条件化。
• 该方法自然地与 AI 组件集成，支持对传统软件和 AI 增强软件系统的统一分析。
• 原型实现表明，PSM 模型具有可重复性、持久性、可共享性和可量化性，为下游应用奠定了坚实基础。