[论文解读] Remarks on the statistical aspects of the safety analysis

Lénard Pál, Mihály Makai|arXiv (Cornell University)|Jun 6, 2013

Risk and Safety Analysis参考文献 1被引用 3

一句话总结

本文批判了核能与工业安全分析中广泛使用的 0.95|0.95 容差区间方法，因其固有的最大输出值随机性，导致该方法在确保可重复性和客观性方面存在缺陷。本文提出符号检验作为更稳健的替代方法，尤其适用于多输出变量场景。通过模拟验证，容差区间方法可能遗漏危险状态，特别是在仅少数系统状态存在风险时，凸显了在安全评估中采用更大样本量和更严格的概率方法的必要性。

ABSTRACT

We investigate the statistical methods applied throughout safety analysis of complex systems. The tolerance interval method implemented in the widely utilized 0.95|0.95 methodology is analyzed. We point out a remarkable weakness of the tolerance interval method concerning the principle of repeatability. It is proved that repeating twice the procedure, the probability that the second maximum will be larger/smaller than the first one is 50\%. This statement is not surprising, it holds for any random variable with continuous distribution function. In order to demonstrate the undesirable consequences of the tolerance interval method in the decision making, the results of the analysis of an elementary example are discussed. Instead of the tolerance interval method, we suggest another method based on the sign test which has more encouraging features, especially in the case of several output variables. The problematic aspects of the method are also discussed. Finally, we suggest a simple test case which is able to reveal if the tolerance interval method would not be capable of determining the risky states of the system, when there are only a few of them. If there are many, then the method may not explore each one in the analysis.

研究动机与目标

• 识别并批判 0.95|0.95 容差区间方法在安全分析中的统计缺陷，特别是其缺乏可重复性和客观性。
• 通过模拟示例证明，当仅少数输入组合导致极限违规时，容差区间方法可能无法可靠检测出危险的系统状态。
• 提出符号检验作为一种统计上更可靠的替代方法，尤其适用于多输出安全评估，能更好地保持可重复性和客观性。
• 提出一个简单的测试案例，用于检验容差区间方法是否具备检测稀有但关键的安全违规的能力。
• 倡导在复杂系统最佳估算安全分析中，更深入地整合概率推理与统计严谨性。

提出的方法

• 作者通过模拟安全分析，使用对数正态分布的输出值来建模风险，以随机抽样代替实际代码运行。
• 应用 0.95|0.95 容差区间方法，以 95% 的置信度估计覆盖上 95% 风险值的区间。
• 通过多次运行（n=100）并改变样本量（N=59, 90, 458）来评估最大观测风险值的变异性与可靠性。
• 引入符号检验作为替代统计方法，基于顺序统计量，避免容差区间方法中覆盖概率不稳定的缺陷。
• 提出一个仅 1% 的输入状态导致极限违规的测试案例，以评估方法是否能检测出稀有的危险配置。
• 分析在重复运行中，最大值超过或低于前一次最大值的概率，表明由于最大值的连续分布，该概率为 50%。

实验结果

研究问题

• RQ1 当重复相同程序时，0.95|0.95 容差区间方法是否能确保安全分析中的可重复性？
• RQ2 当仅少数输入组合导致极限违规时，容差区间方法是否能可靠检测出稀有但危险的系统状态？
• RQ3 在多输出变量的应用中，符号检验与容差区间方法相比，在客观性与适用性方面有何差异？
• RQ4 样本量对容差区间方法估计最大风险值可靠性的有何影响？
• RQ5 能否设计一个简单测试案例，以评估某种统计方法是否具备检测稀有安全关键状态的能力？

主要发现

• 重复 0.95|0.95 容差区间程序时，由于连续分布下最大值的随机性，第二次最大值超过或低于第一次的概率为 50%。
• 当样本量 N=59 时，该方法在 55% 的重复运行中错误地得出系统安全的结论，即使实际仅有 1% 的状态是危险的。
• 当 N=458（对应 0.99|0.99）时，仍有 1% 的运行显示系统安全，但 44% 的运行检测到异常高的风险值，表明结果存在高度变异性。
• 由于 95% 的置信水平，容差区间方法在约每 20 次检测中约有 1 次无法检测出危险状态，尤其在危险状态稀少时更为明显。
• 符号检验方法表现出更高的稳定性，且可直接应用于多输出变量，相比容差区间方法，具有更好的可重复性和客观性。
• 所提出的 1% 危险状态测试案例表明，容差区间方法在小样本量下可能无法可靠检测稀有风险，凸显了对更大样本量或更优统计方法的需求。