[论文解读] Robust Combination of Local Controllers

Carlos Guestrin, Dirk Ormoneit|arXiv (Cornell University)|Jan 10, 2013

Robotic Path Planning Algorithms参考文献 11被引用 8

一句话总结

本文提出一种非参数方法，以鲁棒方式组合局部设计的控制器，用于运动规划与折扣马尔可夫决策过程（MDPs），解决了转移概率和目标可达性可靠性中的不确定性问题。证明了多项式数量的样本足以实现高概率的目标可达性，为随机最短路径问题中预期成本最小化提供了一种实用的替代方案。

ABSTRACT

Planning problems are hard, motion planning, for example, isPSPACE-hard. Such problems are even more difficult in the presence of uncertainty. Although, Markov Decision Processes (MDPs) provide a formal framework for such problems, finding solutions to high dimensional continuous MDPs is usually difficult, especially when the actions and time measurements are continuous. Fortunately, problem-specific knowledge allows us to design controllers that are good locally, though having no global guarantees. We propose a method of nonparametrically combining local controllers to obtain globally good solutions. We apply this formulation to two types of problems : motion planning (stochastic shortest path) and discounted MDPs. For motion planning, we argue that usual MDP optimality criterion (expected cost) may not be practically relevant. Wepropose an alternative: finding the minimum cost path,subject to the constraint that the robot must reach the goal withhigh probability. For this problem, we prove that a polynomial number of samples is sufficient to obtain a high probability path. For discounted MDPs, we propose a formulation that explicitly deals with model uncertainty, i.e., the problem introduced when transition probabilities are not known exactly. We formulate the problem as a robust linear program which directly incorporates this type of uncertainty.

研究动机与目标

• 为解决高维连续MDP在连续动作和时间下的求解难题，特别是在不确定性条件下。
• 克服传统MDP最优性准则（如预期成本）在实际运动规划中的局限性，其中目标可达性的可靠性更为关键。
• 开发一种方法，将局部有效的控制器组合为全局鲁棒的解决方案，而无需依赖全局模型知识。
• 通过将问题表述为鲁棒线性规划，显式处理折扣MDP中的模型不确定性。

提出的方法

• 采用非参数方法组合局部控制器，无需对全局策略假设参数形式。
• 在运动规划中，将目标重新表述为在最小化路径成本的同时保证高概率到达目标，而非最小化预期成本。
• 提出一种鲁棒线性规划公式，纳入转移概率中的不确定性，从而实现对模型不准确性的鲁棒性。
• 采用基于采样的方法，证明多项式数量的样本足以实现高概率的目标可达性。
• 将该框架应用于随机最短路径问题和折扣MDP，展示了在不同规划设置下的适用性。
• 使用鲁棒优化框架，直接编码和管理转移动态中的不确定性，从而在模型误设情况下提升可靠性。

实验结果

研究问题

• RQ1 是否可以在不依赖全局模型知识或参数假设的前提下，将局部有效的控制器组合为全局鲁棒策略？
• RQ2 在不确定性下的运动规划中，最小化预期成本是否是充分或实际的准则，还是应优先考虑目标可达概率？
• RQ3 在随机最短路径问题中，多项式数量的样本是否足以确保高概率的目标可达性？
• RQ4 如何正式地将转移概率中的模型不确定性纳入MDP求解方法，以提高鲁棒性？
• RQ5 鲁棒线性规划公式是否能有效处理折扣MDP中的不确定性，同时保持计算可操作性？

主要发现

• 多项式数量的样本足以构建一条以高概率到达目标的路径，为随机最短路径问题提供了强有力的有限样本保证。
• 所提出的鲁棒线性规划公式能有效处理转移概率中的不确定性，提升了在模型误设情况下的可靠性。
• 该方法成功地将局部控制器组合为全局有效的策略，而无需依赖全局模型知识或参数假设。
• 该方法在实际运动规划中优于传统的预期成本最小化，通过优先考虑目标可达性的可靠性实现性能提升。
• 该框架适用于随机最短路径问题和折扣MDP，展示了在各类规划任务中的广泛适用性。
• 理论分析证实，该方法在有限、多项式有界的样本下可实现高概率目标可达性，使其具备可扩展性和实用性。