[论文解读] Topological Value Iteration Algorithms

Peng Dai, Mausam+2 more|arXiv (Cornell University)|Jan 16, 2014

Bayesian Modeling and Causal Inference参考文献 48被引用 47

一句话总结

本文提出了拓扑值迭代（TVI）和聚焦拓扑值迭代（FTVI），这两种新颖的最优MDP算法，通过将MDP分解为强连通分量（SCCs）并按拓扑顺序进行状态备份，利用了状态转移的拓扑结构。FTVI通过使用启发式搜索来剪枝次优动作并聚焦于相关分量，进一步提升了性能，在多个领域中相比VI、ILAO*、LRTDP、BRTDP和Bayesian-RTDP的性能最高可提升两个数量级。

ABSTRACT

Value iteration is a powerful yet inefficient algorithm for Markov decision processes (MDPs) because it puts the majority of its effort into backing up the entire state space, which turns out to be unnecessary in many cases. In order to overcome this problem, many approaches have been proposed. Among them, ILAO* and variants of RTDP are state-of-the-art ones. These methods use reachability analysis and heuristic search to avoid some unnecessary backups. However, none of these approaches build the graphical structure of the state transitions in a pre-processing step or use the structural information to systematically decompose a problem, whereby generating an intelligent backup sequence of the state space. In this paper, we present two optimal MDP algorithms. The first algorithm, topological value iteration (TVI), detects the structure of MDPs and backs up states based on topological sequences. It (1) divides an MDP into strongly-connected components (SCCs), and (2) solves these components sequentially. TVI outperforms VI and other state-of-the-art algorithms vastly when an MDP has multiple, close-to-equal-sized SCCs. The second algorithm, focused topological value iteration (FTVI), is an extension of TVI. FTVI restricts its attention to connected components that are relevant for solving the MDP. Specifically, it uses a small amount of heuristic search to eliminate provably sub-optimal actions; this pruning allows FTVI to find smaller connected components, thus running faster. We demonstrate that FTVI outperforms TVI by an order of magnitude, averaged across several domains. Surprisingly, FTVI also significantly outperforms popular heuristically-informed MDP algorithms such as ILAO*, LRTDP, BRTDP and Bayesian-RTDP in many domains, sometimes by as much as two orders of magnitude. Finally, we characterize the type of domains where FTVI excels --- suggesting a way to an informed choice of solver.

研究动机与目标

• 为解决标准值迭代在MDP中因在整个状态空间内执行冗余备份而导致的效率低下问题。
• 利用MDP的拓扑结构——特别是强连通分量（SCCs）——来指导更高效的备份序列。
• 设计一种系统性地利用结构分解的方法，避免不必要的备份，同时保持最优性。
• 在具有多个大小相近的SCC的MDP中提升性能，因为标准算法在此类场景下表现不佳。
• 设计一种聚焦变体，通过启发式剪枝将计算限制在相关分量内，从而提升可扩展性。

提出的方法

• TVI使用图分解技术将MDP分解为强连通分量（SCCs）。
• 它在SCC之间按拓扑顺序执行值迭代备份，确保值能从后继分量正确传播到前驱分量。
• FTVI通过使用少量启发式搜索，在分解前识别并消除可证明次优的动作，从而增强TVI。
• 这种剪枝减少了连通分量的规模，使计算更快且更集中。
• 该算法通过确保仅处理必要且相关的状态转移来保持最优性。
• TVI和FTVI均被证明是最优的，且设计用于利用MDP的结构特性以减少冗余计算。

实验结果

研究问题

• RQ1 将MDP分解为强连通分量（SCCs）并在拓扑顺序下处理，是否能显著提升值迭代的性能？
• RQ2 能否有效利用启发式搜索在分解前识别并消除次优动作，从而减小相关分量的规模？
• RQ3 所得到的聚焦拓扑值迭代（FTVI）算法是否在运行时间和可扩展性方面优于标准值迭代及其他最先进的MDP求解器？
• RQ4 在哪些类型的MDP领域中，FTVI展现出最显著的性能优势？
• RQ5 能否系统性地利用拓扑结构来引导备份序列，而不会牺牲最优性？

主要发现

• 由于在相关分量上进行聚焦计算，FTVI在多个领域中的平均性能相比TVI提升了一个数量级。
• 在许多领域中，FTVI显著优于ILAO*、LRTDP、BRTDP和Bayesian-RTDP，有时性能最高可提升两个数量级。
• 当MDP包含多个大小相近的SCC时，TVI相比标准值迭代和其他最先进的算法表现出更优的性能。
• FTVI的性能提升在具有复杂模块化结构的领域中最为显著，因为次优动作可被有效剪枝。
• 本文刻画了FTVI表现优异的MDP类型，为基于结构特性的求解器选择提供了依据。
• TVI和FTVI均被证明是最优的，在保持正确性的同时，通过结构利用实现了显著的运行时间改进。