[论文解读] Synthesizing Chemical Plant Operation Procedures using Knowledge, Dynamic Simulation and Deep Reinforcement Learning

Shumpei Kubosawa, Takashi Onishi+1 more|arXiv (Cornell University)|Mar 6, 2019

Fault Detection and Control Systems参考文献 7被引用 4

一句话总结

该论文提出了一种AI系统，通过整合动态仿真、定性知识和深度强化学习（PPO），合成最优的化工厂操作规程。该系统生成可操作、可解释的操作规程，显著加快了故障后的恢复速度——在VAM装置仿真中，恢复时间比标准PID控制快30%。

ABSTRACT

Chemical plants are complex and dynamical systems consisting of many components for manipulation and sensing, whose state transitions depend on various factors such as time, disturbance, and operation procedures. For the purpose of supporting human operators of chemical plants, we are developing an AI system that can semi-automatically synthesize operation procedures for efficient and stable operation. Our system can provide not only appropriate operation procedures but also reasons why the procedures are considered to be valid. This is achieved by integrating automated reasoning and deep reinforcement learning technologies with a chemical plant simulator and external knowledge. Our preliminary experimental results demonstrate that it can synthesize a procedure that achieves a much faster recovery from a malfunction compared to standard PID control.

研究动机与目标

• 通过开发AI辅助系统以实现操作规程的自动生成，应对日本等老龄化社会中化工厂操作人员日益短缺的问题。
• 克服传统模型预测控制（MPC）和定性规划的局限性，实现连续、定量的操作规程生成。
• 不仅提供高效的操作规程，还提供人类可理解的解释以增强操作员的信任。
• 通过结合动态仿真和深度强化学习的端到端学习，实现在装置故障后快速恢复。
• 整合外部知识和仿真模型，以约束复杂化工装置中可能控制动作的庞大搜索空间。

提出的方法

• 使用醋酸乙烯酯（VAM）装置的定量动态仿真模型，以表征实时装置行为。
• 采用近端策略优化（PPO）作为深度强化学习算法，从连续的状态和动作空间中学习最优控制策略。
• 整合装置特定知识（如操作手册和P&IDs）以引导智能体朝向有希望且可行的操作规程。
• 将状态表示为故障区域周围7维实数值传感器读数向量（如汽化器压力、进料流量等）。
• 将奖励函数定义为 max(0, 1 - 50 × |sₜ - σ|)，其中 sₜ 为时间 t 的传感器值，σ 为正常状态值，以鼓励系统收敛至稳态运行。
• 在多个30分钟的仿真周期内训练智能体，每分钟执行一次动作，以优化累积奖励。

实验结果

研究问题

• RQ1 AI系统能否利用深度强化学习和动态仿真，合成有效且定量的化工厂操作规程？
• RQ2 所学习的操作规程在故障恢复性能上与标准PID控制相比如何？
• RQ3 该系统能否泛化至复杂、非阶跃式的扰动，如斜坡式故障？
• RQ4 该系统在多大程度上能提供可解释、人类可理解的生成规程理由？
• RQ5 整合领域特定知识是否能提升样本效率并促进规程合成的收敛？

主要发现

• 基于PPO的智能体在训练过程中获得的累积奖励显著高于标准PID控制，表明其在系统稳定方面表现更优。
• 在简单故障场景（进料压力阶跃增加至120%）下，所提出的规程在几分钟内即实现稳定运行，而PID控制在30分钟内未能达到稳态。
• 该系统实现了更快的恢复速度——与PID相比，将汽化器压力从不稳定状态恢复至正常水平的时间缩短了30%以上。
• 在具有随机斜坡式扰动（0–30分钟内压力增加90%–120%）的可变故障场景中，智能体的累积奖励随训练周期稳步提升，表现出稳健的学习能力。
• 智能体成功学习了针对复杂、动态扰动的操作规程，而这些扰动因非阶跃变化而不适合采用可微分MPC方法处理。
• 该系统生成了包含数值控制参数的可解释规程，使人类操作员能够理解并验证所建议的操作。