[论文解读] Optimal control with budget constraints and resets

Ryo Takei, Weiyan Chen+3 more|arXiv (Cornell University)|Oct 28, 2011

Markov Chains and Monte Carlo Methods被引用 2

一句话总结

本文提出了一种新颖的最优控制框架，适用于在固定预算约束下、进入偏好状态时可完全重置的系统，通过扩展的PDE和迭代算法，同时解决离散与连续问题。主要贡献在于提出一种数值高效的计算方法，用于在预算约束环境下求解最优策略，已在具有可视性约束的路径规划问题中得到验证。

ABSTRACT

Abstract. We consider both discrete and continuous control problems constrained by a fixed budget of some resource, which may be renewed upon entering a preferred subset of the state space. In the discrete case, we consider both deterministic and stochastic shortest path problems with full budget resets in all preferred nodes. In the continuous case, we derive augmented PDEs of optimal control, which are then solved numerically on the extended state space with a full/instantaneous budget reset on the preferred subset. We introduce an iterative algorithm for solving these problems efficiently. The method’s performance is demonstrated on a range of computational examples, including the optimal path planning with constraints on prolonged visibility by a static enemy observer. In addition, we also develop an algorithm that works on the original state space to solve a related but simpler problem: finding the subsets of the domain “reachable-within-the-budget”. Section 1. Introduction. Dynamic programming provides a convenient framework for finding provably “optimal ” strategies to control both discrete and continuous systems. The optimality is usually defined with respect to a single criterion or cost (e.g., money, or fuel, or time needed to implement each particular control).

研究动机与目标

• 开发一种统一的框架，用于在固定预算约束下、进入偏好状态时实现完全重置的最优控制。
• 将动态规划方法扩展至处理离散与连续设置下的资源再生问题。
• 解决因观察者长时间保持可视性而产生预算约束的复杂路径规划问题。
• 设计一种高效的迭代算法，用于在数值上求解扩展的最优控制问题。
• 提供一种方法，用于识别原始状态空间中可达到预算的子集，作为更简单的辅助问题。

提出的方法

• 将离散最优控制问题表述为在偏好节点处实现完全预算重置的随机最短路径问题。
• 推导出在状态空间的偏好子集上实现瞬时预算重置的连续最优控制的扩展偏微分方程（PDE）。
• 在扩展状态空间（包含预算作为额外维度）上数值求解扩展PDE。
• 引入一种迭代算法，以高效计算在预算约束下的值函数与最优控制策略。
• 开发一种独立的算法，在原始状态空间上运行，以确定在不显式追踪预算的情况下可达的区域。
• 在扩展状态空间上应用动态规划原理，以确保所计算策略的可证明最优性。

实验结果

研究问题

• RQ1 在离散系统中，如何在固定预算约束下、进入偏好状态时实现完全重置，来表述最优控制问题？
• RQ2 为在状态空间子集上实现瞬时预算重置的连续最优控制，需要何种PDE表述？
• RQ3 在实际中，如何高效且准确地求解扩展PDE？
• RQ4 所提出的迭代算法在求解复杂预算约束控制问题时的性能如何？
• RQ5 能否设计一种更简单的算法，用于在不追踪完整预算状态的情况下识别可达预算区域？

主要发现

• 所提出的方法即使在复杂场景（如具有可视性约束的路径规划）下，也能成功计算出在预算约束下实现完全重置的最优控制策略。
• 扩展PDE框架能够准确求解具有瞬时预算重置的连续最优控制问题。
• 迭代算法在计算示例（包括可视性约束路径规划）中表现出高效的收敛性与可扩展性。
• 辅助算法能正确识别在预算范围内的可达子集，为更大规模问题提供有用的预处理步骤。
• 该框架具有通用性，适用于具有预算重置的确定性与随机控制问题。
• 数值结果证实，该方法在给定约束下实现了最优或近似最优性能。