[论文解读] Remarks on statistical aspects of safety analysis of complex systems

Л. Пал, Mihály Makai|ArXiv.org|Aug 23, 2003

Software Reliability and Analysis Research参考文献 2被引用 21

一句话总结

本文提出了一种基于黑箱模型的复杂系统安全分析统计框架，通过将不确定的输入变量与输出变量关联，推导出实现预定置信水平所需仿真实验次数的公式。结果表明，容忍区间法与符号检验法在处理相关输出时表现有效，而对各变量单独测试可能导致因忽略依赖关系而得出不安全的结论。

ABSTRACT

We analyze safety problems of complex systems using the methods of mathematical statistics for testing the output variables of a code simulating the operation of the system under consideration when the input variables are uncertain. We have defined a black box model of the code and derived formulas to calculate the number of runs needed for a given confidence level to achieve a preassigned measure of safety. In order to show the capabilities of different statistical methods, firstly we have investigated one output variable with unknown and known distribution functions. The general conclusion has been that the different methods do not bring about large differences in the number of runs needed to ensure a given level of safety. Analyzing the case of several statistically dependent output variables we have arrived at the conclusion that the testing of the variables separately may lead to false, safety related decisions with unforseen consequences. We have advised two methods: the sign test and the tolerance interval methods for testing more than one mutually dependent output variables.

研究动机与目标

• 开发一种针对具有不确定输入的复杂系统安全分析的统计框架。
• 确定为实现预设的安全结果置信水平所需仿真实验的次数。
• 在已知与未知分布假设下，评估各种统计方法（如置信区间、分位数检验和容忍区间）的性能。
• 解决安全关键系统中输出变量相关性带来的挑战，因为单独测试可能导致错误的安全评估。
• 提出稳健的统计方法（特别是符号检验和容忍区间）用于在依赖关系下进行多变量安全分析。

提出的方法

• 构建一个黑箱模型，其中输入变量（具有已知或未知分布）通过仿真代码映射到输出变量。
• 应用经典统计方法，包括置信区间、分位数检验和贝叶斯方法，以评估单一输出变量的安全性。
• 提出容忍区间方法的一种新变体，用于估计指定比例的输出落在安全边界内的概率。
• 利用顺序统计量和递归概率密度函数，将分析扩展到多个相关输出变量。
• 推导输出区间联合概率分布的递归公式，利用贝塔函数和不完全贝塔函数。
• 利用贝塔分布对落在安全边界内的仿真实验比例的概率密度进行建模，从而实现对系统安全性的统计推断。

实验结果

研究问题

• RQ1 当存在输入不确定性时，需要多少次仿真实验才能达到给定的安全置信水平？
• RQ2 不同统计方法（如置信区间、容忍区间、符号检验）在确保安全所需的样本量方面如何比较？
• RQ3 在安全分析中，对相关输出变量进行独立分析存在哪些风险？
• RQ4 容忍区间方法能否有效处理复杂系统安全评估中多变量且相关的输出变量？
• RQ5 多个输出变量的联合分布如何影响整体安全概率估计？

主要发现

• 不同统计方法（如置信区间、分位数检验和容忍区间）对所需仿真实验次数的估计结果相近，表明方法具有鲁棒性。
• 对多个相关输出变量单独测试可能导致错误的安全判断，因为未考虑变量间的相互依赖关系，可能引发不安全的系统运行。
• 所提出的容忍区间方法变体能够可靠估计指定比例输出落在安全边界内的概率。
• 当输出变量存在依赖关系时，推荐使用符号检验方法进行多变量安全分析，因其在分布不确定性下仍保持有效性。
• 落在安全边界内的仿真实验比例的联合概率分布服从贝塔分布，其参数由实验次数和成功结果数决定。
• 整体安全概率的最终概率密度函数仅依赖于最后一个输出变量的统计特性，而不依赖于先前变量，从而简化了多变量安全评估。