[论文解读] Robust Model-based Reinforcement Learning for Autonomous Greenhouse Control

Wanpeng Zhang, Xiaoyan Cao+4 more|arXiv (Cornell University)|Aug 26, 2021

Greenhouse Technology and Climate ControlAgricultural and Biological Sciences参考文献 30被引用 20

一句话总结

本文提出了一种用于自主温室控制的鲁棒模型强化学习框架，提升了样本效率与安全性。通过使用环境模型集成进行基于仿真的策略优化，并引入样本丢弃模块以优先考虑最坏情况，该方法在极端条件下相比基线方法实现了更高的作物产量和保留率。

ABSTRACT

Due to the high efficiency and less weather dependency, autonomous greenhouses provide an ideal solution to meet the increasing demand for fresh food. However, managers are faced with some challenges in finding appropriate control strategies for crop growth, since the decision space of the greenhouse control problem is an astronomical number. Therefore, an intelligent closed-loop control framework is highly desired to generate an automatic control policy. As a powerful tool for optimal control, reinforcement learning (RL) algorithms can surpass human beings' decision-making and can also be seamlessly integrated into the closed-loop control framework. However, in complex real-world scenarios such as agricultural automation control, where the interaction with the environment is time-consuming and expensive, the application of RL algorithms encounters two main challenges, i.e., sample efficiency and safety. Although model-based RL methods can greatly mitigate the efficiency problem of greenhouse control, the safety problem has not got too much attention. In this paper, we present a model-based robust RL framework for autonomous greenhouse control to meet the sample efficiency and safety challenges. Specifically, our framework introduces an ensemble of environment models to work as a simulator and assist in policy optimization, thereby addressing the low sample efficiency problem. As for the safety concern, we propose a sample dropout module to focus more on worst-case samples, which can help improve the adaptability of the greenhouse planting policy in extreme cases. Experimental results demonstrate that our approach can learn a more effective greenhouse planting policy with better robustness than existing methods.

研究动机与目标

• 为解决现实世界中温室自动化强化学习的高样本成本与安全风险问题。
• 通过利用学习到的环境模型集成进行仿真滚动，提升训练过程的样本效率。
• 通过一种样本丢弃机制增强策略对环境扰动的鲁棒性，该机制强调最坏情况场景。
• 开发一种闭环、数据驱动的控制系统，实现在真实温室中作物产量与能效的平衡。
• 通过仿真与消融研究验证该框架在标准与异常环境条件下的优越性。

提出的方法

• 该框架采用神经网络模型的集成来模拟温室环境，通过Dyna式规划实现高效的策略训练。
• 利用真实世界交互数据训练环境模型集成，随后生成合成滚动数据以扩充训练数据。
• 样本丢弃模块在策略优化过程中选择性地移除高奖励样本，以聚焦于低概率、高风险场景的学习。
• 该丢弃机制使用超参数 $ p $ 控制丢弃样本的比例，实验中发现 $ p=0.8 $ 为最优设置。
• 使用基于模型的强化学习算法优化策略，平衡仿真环境中的探索与真实世界数据的采集。
• 在标准与扰动环境条件下评估超参数的敏感性，以评估鲁棒性与性能稳定性。

实验结果

研究问题

• RQ1 模型强化学习在现实温室控制中如何提升样本效率，尤其是在真实交互成本高昂的情况下？
• RQ2 样本丢弃机制在极端环境条件下在多大程度上提升了策略的鲁棒性？
• RQ3 在性能与鲁棒性之间取得平衡时，样本丢弃模块的最优超参数设置是什么？
• RQ4 在正常与异常条件下，该框架与基线强化学习方法在作物产量与保留率方面相比如何？
• RQ5 该集成模型方法是否能泛化于多种环境扰动，如极端温度与低太阳辐射？

主要发现

• 在高温条件（35–40°C）下，该方法实现了45.24g的鲜重与85.35%的保留率，显著优于基线方法。
• 在低温条件（−2–10°C）下，该方法实现了38.49g的鲜重与72.62%的保留率，表现出更强的抗逆能力。
• 在高湿度（90%）条件下，该方法实现了39.30g的鲜重与74.16%的保留率，显示出在压力条件下的稳定性能。
• 在无太阳辐射条件下（Iglob=0），该方法实现了43.71g的鲜重与82.47%的保留率，表明其对低光照极端条件具有强适应能力。
• 确定最优丢弃超参数为 $ p=0.8 $，当 $ p<0.8 $ 时，性能与鲁棒性均显著下降。
• 该框架在四种扰动环境（温度与CO₂变化）下表现出卓越的鲁棒性，且在 $ p=0.8 $ 时实现了最高的平均净收益。