[论文解读] Resource Constrained Deep Reinforcement Learning

Abhinav Bhatia, Pradeep Varakantham+1 more|arXiv (Cornell University)|Dec 3, 2018

Traffic control and management被引用 13

一句话总结

本文提出了 DDPG 算法的三项新扩展——约束投影（CP）、约束 Softmax（CS）和近似 OptLayer（ApprOpt），以实现资源受限的顺序分配问题中的深度强化学习，这些问题具有组合动作空间和分层线性约束。这些方法在应急响应和共享单车系统中成功处理了现实约束，且 ApprOpt 在需求激增场景下显著优于基线方法。

ABSTRACT

In urban environments, supply resources have to be constantly matched to the "right" locations (where customer demand is present) so as to improve quality of life. For instance, ambulances have to be matched to base stations regularly so as to reduce response time for emergency incidents in EMS (Emergency Management Systems); vehicles (cars, bikes, scooters etc.) have to be matched to docking stations so as to reduce lost demand in shared mobility systems. Such problem domains are challenging owing to the demand uncertainty, combinatorial action spaces (due to allocation) and constraints on allocation of resources (e.g., total resources, minimum and maximum number of resources at locations and regions). Existing systems typically employ myopic and greedy optimization approaches to optimize allocation of supply resources to locations. Such approaches typically are unable to handle surges or variances in demand patterns well. Recent research has demonstrated the ability of Deep RL methods in adapting well to highly uncertain environments. However, existing Deep RL methods are unable to handle combinatorial action spaces and constraints on allocation of resources. To that end, we have developed three approaches on top of the well known actor critic approach, DDPG (Deep Deterministic Policy Gradient) that are able to handle constraints on resource allocation. More importantly, we demonstrate that they are able to outperform leading approaches on simulators validated on semi-real and real data sets.

研究动机与目标

• 解决在需求不确定、动作空间为组合型且资源分配存在严格约束的城市系统中的在线、顺序资源分配挑战。
• 将深度强化学习方法——特别是 DDPG——扩展以处理复杂的真实世界约束，如总资源限制、各位置的最小/最大分配量以及区域边界约束。
• 开发可扩展、高效且可证明满足约束的算法，在动态、非平稳需求环境中优于贪婪策略和离线启发式方法。
• 在使用来自应急医疗服务和共享单车系统的半真实数据与真实世界数据的现实模拟器上验证所提方法。

提出的方法

• 提出一个正式的资源约束强化学习（ReCO-RL）框架，用于建模供应分配问题中的分层线性约束。
• 引入约束投影（CP）：一种通用的、近似约束执行机制，通过动作生成后的投影实现，损失函数中使用惩罚项。
• 开发约束 Softmax（CS）：一种可微分、可扩展的方法，通过基于 Softmax 的动作头实现约束强制，在特定条件下可证明满足约束。
• 提出近似 OptLayer（ApprOpt）：一种快速、可微分且可扩展的 OptNet 替代方案，实现精确约束满足的同时降低计算成本。
• 将三种方法整合进 DDPG 框架，在保持端到端训练的同时确保策略优化过程中的约束合规性。
• 采用奖励塑造策略及超参数调优（如 λ、C、自适应因子）以稳定训练并提升收敛性。

实验结果

研究问题

• RQ1 深度强化学习能否有效应用于具有组合动作空间和硬性约束的大规模真实世界资源分配问题？
• RQ2 如何在不牺牲可扩展性或训练稳定性的前提下，确保深度确定性策略梯度方法中的约束满足？
• RQ3 在不同需求模式下，所提方法（CP、CS 和 ApprOpt）在性能、可扩展性和约束执行精度方面的表现如何比较？
• RQ4 在应对需求激增和非泊松需求动态时，基于强化学习的方法在多大程度上优于传统贪婪策略和离线启发式方法？
• RQ5 所提方法能否在不同真实世界数据分布（包括半真实和真实数据集）上实现良好泛化？

主要发现

• 在泊松需求的应急响应领域，所有三种所提方法（DDPG-CP、DDPG-CS、DDPG-ApprOpt）的表现与贪婪基线相当或略低，后者在平稳环境中接近最优。
• 在应急响应领域的需求数激增期间，DDPG-ApprOpt 显著优于所有基线方法，平均奖励达 353.20 ± 4.17，而基线为 309.3。
• 在使用真实世界数据的共享单车领域，DDPG-CS 表现最佳，平均得分为 -59.14 ± 3.22，优于 RTrailer 基线及其他强化学习方法。
• DDPG-ApprOpt 展现出最强的泛化能力和鲁棒性，在多个随机种子和测试场景中持续优于其他方法。
• 所提方法在使用与训练数据不同的测试环境时表现出良好泛化能力，表明其具备强大的泛化性能。
• ApprOpt 在约束满足、可扩展性和性能之间实现了最佳平衡，尤其在非平稳、高方差需求环境中表现突出。