[论文解读] Suboptimality bounds for stochastic shortest path problems

Eric A. Hansen|arXiv (Cornell University)|Jul 14, 2011

Reinforcement Learning in Robotics参考文献 14被引用 7

一句话总结

本文提出了一种使用贝尔曼残差计算随机最短路径问题次优性界的方法，将先前工作从严格限制的合理策略和折扣问题情形扩展至更一般的情形。研究表明，在正向转移成本条件下，即使策略不合法，这些界仍可高效计算，并展示了在无成本限制的一般情形下的初步结果。

ABSTRACT

We consider how to use the Bellman residual of the dynamic programming operator to compute suboptimality bounds for solutions to stochastic shortest path problems. Such bounds have been previously established only in the special case that policies are proper, in which case the dynamic programming operator is known to be a contraction, and have been shown to be easily computable only in the more limited special case of discounting. Under the condition that transition costs are positive, we show that suboptimality bounds can be easily computed even when not all policies are proper. In the general case when there are no restrictions on transition costs, the analysis is more complex. But we present preliminary results that show such bounds are possible.

研究动机与目标

• 开发一种在先前方法局限之外计算随机最短路径问题次优性界的方法。
• 将先前仅适用于合理策略或折扣问题的次优性界扩展至不合法策略的情形。
• 在正向转移成本条件下建立可计算的次优性界。
• 探索在无转移成本限制的一般情形下推导此类界的可能性。

提出的方法

• 该方法将动态规划算子的贝尔曼残差作为界定次优性的关键组成部分。
• 采用针对正向转移成本条件下动态规划算子结构的分析技术。
• 利用算子在正成本情形下的压缩性质，推导出紧致且可计算的界。
• 在无成本限制的一般情形下，该方法采用初步的分析技术以探索次优性界的存在性。
• 该框架设计为计算高效，尤其在正成本情形下表现更优。

实验结果

研究问题

• RQ1 当策略不一定是合理策略时，能否高效计算随机最短路径问题的次优性界？
• RQ2 贝尔曼残差在正向转移成本问题中与次优性有何关系？
• RQ3 在何种条件下可将次优性界从折扣问题和合理策略情形推广至更一般情形？
• RQ4 在具有任意转移成本的一般情形下，是否可能推导出次优性界？

主要发现

• 在正向转移成本条件下，即使策略不合法，次优性界仍可高效计算。
• 贝尔曼残差在此设定下提供了可靠且可计算的次优性估计量。
• 该方法推广了先前仅适用于折扣问题或合理策略情形的结果。
• 初步结果表明，即使在无成本限制的情形下，次优性界也可能被推导出，尽管分析更为复杂。