[论文解读] Reinforcement Learning with Function-Valued Action Spaces for Partial Differential Equation Control

Yangchen Pan, Amir‐massoud Farahmand+4 more|arXiv (Cornell University)|Jun 13, 2018

Reinforcement Learning in Robotics参考文献 38被引用 5

一句话总结

本文提出动作描述符，以在偏微分方程（PDE）控制中实现函数值动作空间的强化学习，从而在高维、空间结构化的动作上实现高效学习。通过编码空间规律性，该方法提升了样本效率，并在动作维度高达200维的PDE控制任务中，相比传统强化学习方法表现出更优性能。

ABSTRACT

Recent work has shown that reinforcement learning (RL) is a promising approach to control dynamical systems described by partial differential equations (PDE). This paper shows how to use RL to tackle more general PDE control problems that have continuous high-dimensional action spaces with spatial relationship among action dimensions. In particular, we propose the concept of action descriptors, which encode regularities among spatially-extended action dimensions and enable the agent to control high-dimensional action PDEs. We provide theoretical evidence suggesting that this approach can be more sample efficient compared to a conventional approach that treats each action dimension separately and does not explicitly exploit the spatial regularity of the action space. The action descriptor approach is then used within the deep deterministic policy gradient algorithm. Experiments on two PDE control problems, with up to 256-dimensional continuous actions, show the advantage of the proposed approach over the conventional one.

研究动机与目标

• 解决在强化学习中控制具有高维、连续、函数值动作空间的PDE的挑战。
• 通过显式建模动作维度之间的空间规律性来提升样本效率，而传统强化学习方法忽略了这一点。
• 开发一种可扩展的深度强化学习框架，即使在动作维度增加时仍保持网络架构不变。
• 在具有复杂空间动态的真实PDE控制问题中，验证动作描述符的有效性。

提出的方法

• 提出动作描述符作为动作的参数化方式，编码动作维度之间的空间关系，从而实现在高维动作空间中的泛化。
• 将动作描述符集成到深度确定性策略梯度（DDPG）算法中，使策略网络输出描述符而非原始动作。
• 使用可微分的适配器函数，将基于描述符的输出映射为可执行动作，即使输出维度小于所需动作维度也能实现。
• 采用固定大小的神经网络架构，无论动作维度如何变化，描述符均作为可学习的、空间结构化的参数。
• 将该框架应用于具有连续空间动作空间的PDE控制问题，例如通过分布式空调系统实现房间温度调控。
• 使用一种奖励函数，对高温和动作成本进行惩罚，并通过温度阈值和归一化处理确保训练稳定。

实验结果

研究问题

• RQ1 动作描述符是否能提升在高维动作空间PDE控制中强化学习的样本效率？
• RQ2 在控制具有空间扩展动作的PDE时，所提方法与标准DDPG相比表现如何？
• RQ3 使用空间结构化的动作描述符是否能带来更好的泛化能力和更快的收敛速度？
• RQ4 该方法在不改变网络架构的前提下，能多大程度上扩展到极高维动作空间（例如200维）？
• RQ5 该方法对动作维度和控制执行器空间布局的变化是否具有鲁棒性？

主要发现

• 在Heat Invader环境中，动作描述符方法在所有测试动作维度（1、25、50、100、200）下，均显著优于标准DDPG，获得更高的平均累积奖励。
• 当动作维度为200维时，动作描述符方法相比标准DDPG表现出显著优势，证明了其在样本效率和策略质量上的优越性。
• 即使仅输出一维动作，采用描述符的方法仍优于标准DDPG，表明基于描述符的表示方式可在低动作分辨率下实现有效控制。
• 该方法保持了稳定的训练曲线，并在训练过程中持续提升，尤其体现在策略学会避免不必要的风扇触发后。
• 在均匀气流和涡流气流的实验中，动作描述符方法均表现出良好的泛化能力，适用于不同的物理动态和控制机制。
• 1D动作的消融实验验证了标准DDPG因控制分辨率不足而难以学习有效策略，而基于描述符的方法仍能成功，凸显其表示优势。