[论文解读] Scalability Analysis of the RADAR Decision Support Tool

Saheed A. Busari, Emmanuel Letier|arXiv (Cornell University)|Feb 9, 2017

Simulation Techniques and Applications参考文献 4被引用 3

一句话总结

本文分析了RADAR决策支持工具的可扩展性，该工具使用多目标优化和信息价值分析来评估软件架构决策。研究证实，运行时间和内存使用量随仿真次数、目标数和设计空间规模呈线性增长，识别出完全仿真为性能瓶颈的主要原因，限制其在实际应用中仅适用于最多约10个独立决策、每个决策有3种选项的问题。

ABSTRACT

This report presents a theoretical complexity analysis and empirical scalability analysis of the Requirements and Architecture Decision Analyser (RADAR).

研究动机与目标

• 评估RADAR决策支持工具在软件架构决策分析中的理论与实证可扩展性。
• 识别RADAR四步分析流程（设计空间生成、仿真、Pareto优化、信息价值计算）中的性能瓶颈。
• 确定RADAR的穷举搜索策略在真实世界和合成模型上的实际应用极限。
• 通过识别需要启发式搜索策略以处理更大设计空间的需求，为未来开发提供指导。
• 评估模型特征——包括仿真次数、目标数和设计空间规模——对运行时间和内存消耗的影响。

提出的方法

• 使用渐近符号对RADAR四步流程的理论时间与空间复杂度进行分析。
• 在具有可控变量（仿真次数N、设计空间规模、目标数）的合成模型上实证评估性能。
• 使用合成模型生成器创建可配置决策、选项、目标和依赖关系的模型。
• 在180个具有不同设计空间规模且最多5个目标的合成模型上测量运行时间和内存使用量。
• 应用标准公式计算EVTPI和EVPPI，两者复杂度均受O(N×|S|)限制。
• 采用一种近期高效的EVPPI估计算法，保持与Pareto最优解数量的线性时间复杂度。

实验结果

研究问题

• RQ1 RADAR的运行时间和内存使用量如何随仿真次数（N）变化？
• RQ2 RADAR的性能如何随设计空间规模的增加而变化？
• RQ3 RADAR的性能如何随目标数量的增加而变化？
• RQ4 四个分析步骤中，各步骤消耗的时间和内存占比是多少？

主要发现

• RADAR的运行时间和内存使用量随仿真次数（N）线性增长，与理论复杂度预测一致。
• 仿真步骤消耗了100%的总运行时间和96%的内存使用量，是主要的性能瓶颈。
• 在2个目标和10个决策（每项3个选项）的情况下，RADAR在111秒内分析了6912个解，不足两分钟。
• 最大模型在1小时内完成分析，其设计空间包含153,751个解（11个决策，每项7个选项），证实其在实际限制范围内的可扩展性。
• 运行时间和内存使用量随目标数量线性增长，与理论预测一致，未观察到显著偏差。
• Pareto优化和期望信息价值计算步骤对运行时间的贡献可忽略不计（分别为0%），对内存的贡献也极小（分别为1%和3%），进一步证实仿真是主要成本来源。