[论文解读] Problems with Risk Matrices Using Ordinal Scales

Michael Krisper|arXiv (Cornell University)|Mar 7, 2021

Fuzzy Systems and Optimization参考文献 22被引用 10

一句话总结

本文通过使用序数尺度批判风险矩阵，识别出24种系统性缺陷，如范围压缩、风险倒置和忽略不确定性，这些缺陷破坏了其可靠性。文章主张采用使用比例尺度和概率分布的完全量化风险评估方法，以确保风险决策中的一致性、准确性和可验证性。

ABSTRACT

In this paper, we discuss various problems in the usage and definition of risk matrices. We give an overview of the general process of risk assessment with risk matrices and ordinal scales. Furthermore, we explain the fallacies in each phase of this process and give hints on which decisions may lead to more problems than others and how to avoid them. Among those 24 discussed problems are ordinal scales, semi-quantitative arithmetics, range compression, risk inversion, ambiguity, and neglection of uncertainty. Finally, we make a case for avoiding risk matrices altogether and instead propose using fully quantitative risk assessment methods.

研究动机与目标

• 识别并系统分析依赖序数尺度的风险矩阵中固有的缺陷与谬误。
• 展示序数尺度、半定量算术和范围压缩如何导致风险排序不一致且具有误导性。
• 强调人为偏见、忽略不确定性以及延迟反馈在扭曲风险评估结果中的作用。
• 论证定性与半定量方法缺乏实证验证，可能误导决策者。
• 倡导采用完全量化风险评估方法，作为更具说服力、透明且准确的替代方案。

提出的方法

• 通过五阶段风险评估流程分析风险矩阵：风险识别、打分、聚合、不确定性处理和决策制定。
• 使用现实世界和人工案例——如MIL-STD-882C中的燃料泄漏情景——说明风险倒置和错误优先级排序。
• 应用决策理论和行为经济学原理，揭示认知偏见，如对不确定性的规避和权威偏见。
• 将序数风险矩阵与使用比例尺度、概率分布和不确定性传播的量化方法进行对比。
• 提出转向完全量化风险评估的建议，使用如RISKEE等工具，该框架基于攻击树和概率建模。
• 强调需要反馈回路和绩效度量，以随时间验证风险模型。

实验结果

研究问题

• RQ1 风险矩阵中的序数尺度如何导致不一致或违反直觉的风险排序？
• RQ2 风险矩阵中的范围压缩在多大程度上扭曲了风险的真实程度？
• RQ3 风险矩阵中为何会发生风险倒置？其在安全与安保情境中的实际后果是什么？
• RQ4 在定性风险矩阵中忽略不确定性如何削弱风险决策的可靠性？
• RQ5 人类偏见（如权威偏见和对不确定性的规避）在多大程度上强化了风险矩阵的错误使用？

主要发现

• 使用序数尺度的风险矩阵常常产生违反直觉的排序，例如低体积、高频率的危险事件被评定为比高体积、低频率事件更低的风险。
• MIL-STD-882C的案例表明，每小时发生五次1盎司的泄漏（每周52.5磅）被评定为中等风险，而每周10磅的泄漏则被评定为高风险，尽管前者造成的泄漏量显著更高。
• 风险矩阵中的半定量算术无法保留不确定性，使得无法评估估计的可靠性，也无法在计算中传播误差。
• 风险评估中缺乏即时反馈，导致模型未经验证且无法改进，从而削弱了长期决策质量。
• 缺乏实证证据表明定性风险矩阵能改善结果，且常造成一种严谨性和控制力的虚假印象。
• 使用概率分布和不确定性传播的量化方法能更好地反映真实风险，并支持可验证、有说服力的决策。