[论文解读] Risk Sensitive Dead-end Identification in Safety-Critical Offline Reinforcement Learning

Taylor W. Killian, Sonali Parbhoo+1 more|arXiv (Cornell University)|Jan 13, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出分布死端发现（DistDeD），一种针对安全关键型离线强化学习中 worst-case 结果的敏感风险框架，通过建模预期回报的完整分布，实现对高风险决策点的更早、更可调的检测。与先前方法相比，DistDeD 平均提前 10 小时检测到死端，并在 ICU 患者风险评估中将检测率提高 20%。

ABSTRACT

In safety-critical decision-making scenarios being able to identify worst-case outcomes, or dead-ends is crucial in order to develop safe and reliable policies in practice. These situations are typically rife with uncertainty due to unknown or stochastic characteristics of the environment as well as limited offline training data. As a result, the value of a decision at any time point should be based on the distribution of its anticipated effects. We propose a framework to identify worst-case decision points, by explicitly estimating distributions of the expected return of a decision. These estimates enable earlier indication of dead-ends in a manner that is tunable based on the risk tolerance of the designed task. We demonstrate the utility of Distributional Dead-end Discovery (DistDeD) in a toy domain as well as when assessing the risk of severely ill patients in the intensive care unit reaching a point where death is unavoidable. We find that DistDeD significantly improves over prior discovery approaches, providing indications of the risk 10 hours earlier on average as well as increasing detection by 20%.

研究动机与目标

• 解决在探索不可行且数据有限的安全关键型离线强化学习中检测 worst-case 结果的挑战。
• 克服先前死端发现（DeD）方法依赖预期回报点估计的局限性，这些估计可能过于乐观，且无法捕捉风险分布。
• 通过建模回报结果的完整分布，开发一种能提供更早、可调且保守的风险指标的框架。
• 使人类操作员能够在不可逆衰退发生前主动干预高风险场景，特别是在临床和工业环境中。

提出的方法

• 该方法使用分布强化学习（DrQ）对预期回报的完整分布进行建模，用学习到的回报分布替代每个状态下各动作的点估计。
• 基于回报分布的下尾（即 worst-case 结果）计算风险敏感度量，以识别可能导致死端的状态。
• 该框架引入可调的风险阈值，可根据任务特定的风险容忍度进行调整，从而实现保守或激进的检测策略。
• 通过理论证明表明，该风险估计是原始 DeD 方法的下界，从而在提升敏感性的同时保留其核心安全保证。
• 该方法应用于一个模拟环境和一个真实世界的 ICU 数据集，使用离线数据集进行模型训练与评估，无需在线交互。
• 通过评估任一动作的 worst-case 回报分布是否低于安全阈值，执行死端检测，以指示系统即将失效或患者状况恶化。

Figure 1 : Illustration of the determination of conditional value at risk ( $\mathrm{CVaR}_{\alpha}$ ), with $\alpha=0.1$

实验结果

研究问题

• RQ1 建模预期回报的完整分布是否能提升在安全关键型离线强化学习中对 worst-case 结果的早期检测？
• RQ2 与基于点估计的方法相比，分布风险估计在不可逆衰退前检测死端的表现如何？
• RQ3 在高风险环境中，该框架在保持可靠性的同时，能在多大程度上根据不同的风险容忍度进行调节？
• RQ4 在真实世界的临床数据中，DistDeD 是否能比现有方法更早检测到系统故障或患者状况恶化？

主要发现

• 在 ICU 患者监测中，与先前的死端发现方法相比，DistDeD 平均提前 10 小时检测到高风险场景。
• 与基线方法相比，该方法将潜在死端的检测率提高了 20%，显著提升了对 worst-case 结果的敏感性。
• 通过建模完整的回报分布，DistDeD 提供了一个可调的风险敏感框架，可依据临床或工业安全需求进行定制。
• 从分布方法推导出的风险估计是原始 DeD 方法的理论下界，确保了安全保证的保留。
• 在合成数据和真实世界 ICU 数据中，DistDeD 均成功识别出患者结果可能不可逆恶化的状态，即使在数据有限且存在混杂因素的情况下亦然。
• 该框架作为决策支持工具展现出实际应用价值，使在安全关键系统中实现更早的人工干预成为可能，且无需在线探索。

Figure 2 : Distributional Dead-end Discovery (DistDeD) a) Observations are encoded (as needed) into a state representation and then b) passed to independent IQN models to estimate the distribution of returns ( $Z_{D}$ and $Z_{R}$ ) for each possible action. c) The $\mathrm{CVaR}_{\alpha}$ is compute