[论文解读] OptimizedDP: An Efficient, User-friendly Library For Optimal Control and Dynamic Programming

B. Minh, Hu, Hanyang+5 more|arXiv (Cornell University)|Apr 12, 2022

Reinforcement Learning in Robotics被引用 6

一句话总结

OptimizedDP 是一个高性能、用户友好的 Python 库，通过 HeteroCL 和基于 TVM 的代码生成技术，加速动态规划与最优控制计算。其在价值迭代上相比纯 Python 最快可实现 789 倍的加速，并支持高达六维的可达性分析，显著优于 MATLAB 和 C++ 工具箱。

ABSTRACT

This paper introduces OptimizedDP, a high-performance software library for several common grid-based dynamic programming (DP) algorithms used in control theory and robotics. Specifically, OptimizedDP provides functions to numerically solve a class of time-dependent (dynamic) Hamilton-Jacobi (HJ) partial differential equations (PDEs), time-independent (static) HJ PDEs, and additionally value iteration for continuous action-state space Markov Decision Processes (MDP). The computational complexity of grid-based DP is exponential with respect to the number of grid or state space dimensions, and thus can have bad execution runtimes and memory usage whenapplied to large state spaces. We leverage the user-friendliness of Python for different problem specifications without sacrificing the efficiency of the core computation. This is achieved by implementing the core part of the code which the user does not see in heterocl, a framework we use to abstract away details of how computation is parallelized. Compared to similar toolboxes for level set methods that are used to solve the HJ PDE, our toolbox makes solving the PDE at higher dimensions possible as well as achieving an order of magnitude improvements in execution times, while keeping the interface easy for specifying different problem descriptions. Because of that, the toolbox has been adopted to solve control and optimization problems that were considered intractable before. Our toolbox is available publicly at https://github.com/SFU-MARS/optimized_dp.

研究动机与目标

• 解决机器人与控制领域中连续状态 MDP 价值迭代和 Hamilton-Jacobi PDE 求解缺乏高效且用户友好工具的问题。
• 克服现有工具箱（如基于 MATLAB 的 ToolboxLS 和 HelperOC）在可扩展性上的限制，这些工具箱运行缓慢且仅支持最多四维问题。
• 通过结合 C++/CUDA 级别的运行速度与 Python 级别的易用性，为 BEACLS 提供高性能替代方案，用于系统建模。
• 通过针对高性能优化数值算法，实现在不牺牲易用性的前提下，对高维系统（最高六维）实现实际可达性分析。
• 弥合基于动态规划的最优控制与可达性分析中，原型开发效率与计算效率之间的差距。

提出的方法

• 使用 Python 前端进行问题建模，通过 HeteroCL 实现高性能后端执行，实现核心算法——HJ PDE 求解、BRT/BRS 计算、到达时间计算和价值迭代。
• 利用 HeteroCL（基于 TVM 的 Python DSL）将算法定义与底层调度及优化解耦。
• 应用 TVM 的图级优化与自定义调度变换，加速高维网格中的内存访问与浮点运算。
• 在 HJ PDE 求解器中采用 ENO（本质非振荡）格式实现高精度导数近似，支持一阶与二阶精度。
• 通过在结构化网格上实现迭代动态规划，支持 MDP 价值迭代中的连续状态与动作空间。
• 通过 HeteroCL 集成 CUDA 加速，在大规模网格上显著提升计算性能，尤其适用于五维与六维问题。

实验结果

研究问题

• RQ1 基于 Python 的库是否能在保持系统建模易用性的前提下，实现与 BEACLS 等 C++/CUDA 工具箱相当的性能？
• RQ2 HeteroCL 与基于 TVM 的代码生成在多大程度上能够加速高维网格上的动态规划算法？
• RQ3 该库是否能够扩展至六维系统进行可达性分析，而此前工具因计算限制无法处理？
• RQ4 OptimizedDP 中的价值迭代性能与纯 Python 实现相比，在连续 MDP 上表现如何？
• RQ5 在 HJ PDE 求解器中使用不同阶次的 ENO 格式时，数值精度与计算速度之间的权衡如何？

主要发现

• 在 50×50×30 网格的三维价值迭代中，OptimizedDP 相比纯 Python 实现最高可实现 789 倍加速，运行时间从 773 秒降至 0.98 秒。
• 在 40⁵ 网格的五维 HJ PDE 求解中，OptimizedDP 仅用 0.98 秒完成，相比 BEACLS（8.28 秒）提速 8.44 倍，且采用二阶 ENO 格式。
• 该库实现了对六维系统（如水下车辆追踪）的可达性分析，而此前工具因计算资源限制无法处理此类问题。
• 在三维 HJ PDE 求解中，OptimizedDP 相比基于 MATLAB 的 ToolboxLS 加速 32 倍，相比 HelperOC 加速 10 倍，最大解差异为 1.4×10⁻⁶。
• 实现保持了高数值精度，HJ PDE 的最大解差异低于 10⁻⁶，价值迭代的差异低于 0.25。
• HeteroCL 与 TVM 的结合实现了高效的代码生成与调度，使通过高级 Python 接口访问高性能数值计算成为可能。