[论文解读] Optimal sequential decision making with probabilistic digital twins

Christian Agrell, Kristina Rognlien Dahl+1 more|arXiv (Cornell University)|Mar 12, 2021

Formal Methods in Verification被引用 4

一句话总结

本文提出了一种基于测度论条件化与σ代数的贝叶斯数字孪生（PDT）框架，用于在认知不确定性下进行最优序贯决策，采用测度论条件化与σ代数形式化。提出了一种基于集合结构神经网络的深度强化学习（RL）方法，以解决高维、部分可观察的决策问题，在故障概率估计的最优信息获取方面表现优异——成功率达到94%，显著优于基线策略的60%。

ABSTRACT

Digital twins are emerging in many industries, typically consisting of simulation models and data associated with a specific physical system. One of the main reasons for developing a digital twin, is to enable the simulation of possible consequences of a given action, without the need to interfere with the physical system itself. Physical systems of interest, and the environments they operate in, do not always behave deterministically. Moreover, information about the system and its environment is typically incomplete or imperfect. Probabilistic representations of systems and environments may therefore be called for, especially to support decisions in application areas where actions may have severe consequences. In this paper we introduce the probabilistic digital twin (PDT). We will start by discussing how epistemic uncertainty can be treated using measure theory, by modelling epistemic information via $σ$-algebras. Based on this, we give a formal definition of how epistemic uncertainty can be updated in a PDT. We then study the problem of optimal sequential decision making. That is, we consider the case where the outcome of each decision may inform the next. Within the PDT framework, we formulate this optimization problem. We discuss how this problem may be solved (at least in theory) via the maximum principle method or the dynamic programming principle. However, due to the curse of dimensionality, these methods are often not tractable in practice. To mend this, we propose a generic approximate solution using deep reinforcement learning together with neural networks defined on sets. We illustrate the method on a practical problem, considering optimal information gathering for the estimation of a failure probability.

研究动机与目标

• 使用测度论与σ代数形式化数字孪生中的认知不确定性，以实现正确的条件化。
• 定义一种支持不确定性传播与新信息动态更新的贝叶斯数字孪生（PDT）。
• 在PDT框架内，将最优序贯决策建模为部分可观察的马尔可夫决策过程（POMDP）。
• 提出一种可扩展的近似解法，利用深度强化学习求解高维、计算上不可行的问题。
• 在实际问题上验证该方法：通过最优实验选择最小化资源成本，以估计故障概率。

提出的方法

• 使用测度论条件化方法，通过σ代数形式化表示信息状态，以形式化认知不确定性。
• 将贝叶斯数字孪生（PDT）定义为整合仿真、数据与不确定性传播的贝叶斯模型。
• 将序贯决策建模为POMDP，其中动作影响信念状态，结果以概率方式观测。
• 提出一种基于DQN的智能体，结合集合结构神经网络，用于表示信息状态上的价值函数。
• 通过经验回放与目标网络实现训练稳定，使高维信念空间中的策略学习得以稳定进行。
• 设计一种奖励函数，对实验成本进行惩罚（例如：测量为-10，有限元分析为-0.1），以在40次实验限制下最小化总成本。

实验结果

研究问题

• RQ1 如何基于测度论基础，正式表示并更新数字孪生中的认知不确定性？
• RQ2 如何构建贝叶斯数字孪生，以支持在不确定性下的最优序贯决策？
• RQ3 传统动态规划与最大值原理方法在高维PDT问题中的局限性是什么？
• RQ4 深度强化学习能否为PDT中的最优信息获取提供可扩展且实用的解决方案？
• RQ5 所提出的基于RL的策略在成功率与成本效率方面，相较于随机策略与启发式策略有何表现？

主要发现

• 深度强化学习智能体在40次实验内成功估计故障概率的成功率达到94%，显著优于随机策略的60%成功率。
• 基于RL的策略通过智能选择低代价（FE）、中代价（实验室）与高代价（测量）实验，实现了总成本的最小化，基于不确定性降低程度。
• 经验回放与目标网络的使用对DQN智能体在高维信念空间中的稳定训练与收敛至关重要。
• 通过采用基于集合的神经网络架构，该方法高效表示信息状态，成功缓解了维度灾难问题。
• 该框架支持风险感知决策，可通过基于最大值原理的方法扩展至时不一致的风险度量（如CVaR）。
• 所提出的方法通过平衡信息增益与资源成本，实现了在安全关键系统中的实时、数据驱动决策支持。