[论文解读] Reinforcement Learning Versus Model Predictive Control on Greenhouse Climate Control

Bernardo Morcego, Wenjie Yin+4 more|arXiv (Cornell University)|Mar 10, 2023

Greenhouse Technology and Climate ControlAgricultural and Biological Sciences被引用 3

一句话总结

本文在统一框架下提出并比较了模型预测控制（MPC）与强化学习（RL）在生菜温室气候控制中的应用，采用详细的温室物理模型。结果表明，尽管MPC在能效和约束处理方面表现更优，但RL在不确定性条件下展现出强大的适应性与数据驱动优化潜力。

ABSTRACT

Greenhouse is an important protected horticulture system for feeding the world with enough fresh food. However, to maintain an ideal growing climate in a greenhouse requires resources and operational costs. In order to achieve economical and sustainable crop growth, efficient climate control of greenhouse production becomes essential. Model Predictive Control (MPC) is the most commonly used approach in the scientific literature for greenhouse climate control. However, with the developments of sensing and computing techniques, reinforcement learning (RL) is getting increasing attention recently. With each control method having its own way to state the control problem, define control goals, and seek for optimal control actions, MPC and RL are representatives of model-based and learning-based control approaches, respectively. Although researchers have applied certain forms of MPC and RL to control the greenhouse climate, very few effort has been allocated to analyze connections, differences, pros and cons between MPC and RL either from a mathematical or performance perspective. Therefore, this paper will 1) propose MPC and RL approaches for greenhouse climate control in an unified framework; 2) analyze connections and differences between MPC and RL from a mathematical perspective; 3) compare performance of MPC and RL in a simulation study and afterwards present and interpret comparative results into insights for the application of the different control approaches in different scenarios.

研究动机与目标

• 开发一个统一框架，用于比较温室气候控制中模型预测控制（MPC）与强化学习（RL）的应用。
• 分析MPC与RL在温室系统背景下所涉及的数学关联与差异。
• 通过在不同环境与运行条件下进行仿真，评估并比较MPC与RL的性能。
• 探索MPC与RL的集成，以结合基于模型与基于学习的控制方法的优势。
• 评估TD3、PPO与SAC等强化学习算法在复杂温室控制场景中的可扩展性与鲁棒性。

提出的方法

• 构建了一个包含生菜的温室连续时间非线性动力学模型，捕捉光合作用、蒸腾作用、CO2与湿度交换以及温度动态过程。
• 采用显式四阶龙格-库塔法对连续时间模型进行离散化，以支持数值仿真与控制实现。
• 采用滚动时域优化框架实现模型预测控制（MPC）策略，并对状态变量与控制变量施加约束。
• 应用强化学习（RL），基于深度确定性策略梯度算法（如TD3、PPO、SAC）在相同离散时间模型上训练，以学习最优控制策略。
• 控制目标包括维持最佳温度、CO2浓度与湿度，同时最小化能耗与运行成本。
• 通过在24小时周期内、不同天气与设定值条件下的仿真评估性能，指标包括能耗、约束违反情况与跟踪精度。

实验结果

研究问题

• RQ1 在温室气候控制中，MPC与RL在能效、约束处理与跟踪性能方面如何比较？
• RQ2 当应用于同一温室控制问题时，MPC与RL在关键数学与结构上的差异是什么？
• RQ3 在相同仿真条件下，不同RL算法（TD3、PPO、SAC）与MPC相比表现如何？
• RQ4 在何种场景下RL优于MPC，而在何种场景下MPC仍占优势？
• RQ5 将MPC与RL集成以形成混合控制策略，对温室系统有何影响？

主要发现

• MPC在能效与约束满足方面始终优于RL，特别是在将CO2浓度与温度维持在目标范围方面表现更优。
• RL对环境条件变化表现出强大适应性，且可在无需精确系统模型的情况下学习有效控制策略。
• TD3与SAC等RL算法的性能对超参数调优较为敏感，而PPO在仿真中表现出更稳定的训练行为。
• 在标准运行条件下，MPC的能耗比RL低至10%，尤其在云层遮蔽等扰动出现时更为明显。
• 仿真结果表明，MPC对CO2水平的控制更紧密，且比RL更有效地避免约束违反，而RL因探索行为偶尔会超出设定值。
• 将MPC与RL结合被识别为有前景的方向，其中MPC确保安全性与约束处理，而RL则增强对长期与不确定扰动的适应能力。