[论文解读] Value Iteration with Options and State Aggregation

Kamil Ciosek, David Silver|arXiv (Cornell University)|Jan 16, 2015

Reinforcement Learning in Robotics参考文献 21被引用 6

一句话总结

本文提出了一种分层值迭代算法，结合状态聚合与选项（时间抽象）以更高效地求解中等规模的马尔可夫决策过程。通过先使用聚合状态求解子目标，再利用这些近似解来引导在完整MDP上的精确值迭代，该方法实现了更快的收敛速度和显著的运行时间减少——表明只有当两种抽象类型协同使用时，才能充分发挥其全部优势。

ABSTRACT

This paper presents a way of solving Markov Decision Processes that combines state abstraction and temporal abstraction. Specifically, we combine state aggregation with the options framework and demonstrate that they work well together and indeed it is only after one combines the two that the full benefit of each is realized. We introduce a hierarchical value iteration algorithm where we first coarsely solve subgoals and then use these approximate solutions to exactly solve the MDP. This algorithm solved several problems faster than vanilla value iteration.

研究动机与目标

• 通过整合状态抽象与时间抽象，解决大规模MDP上值迭代的计算不可行性。
• 克服普通值迭代的局限性，后者因需遍历全状态空间而随状态空间增大而性能急剧下降。
• 构建一个系统化的框架，结合选项（宏动作）与状态聚合，实现中等规模MDP的高效、可扩展求解。
• 证明选项与状态聚合之间的协同效应优于单独使用任一技术的效果。
• 在利用近似子目标解作为基础进行完整MDP精确求解的同时，保证收敛至最优值函数。

提出的方法

• 将贝尔曼最优方程扩展为包含选项与基本动作的矩阵模型，通过矩阵乘法实现组合。
• 通过聚合矩阵Φ与解聚矩阵D进行状态聚合，将原始MDP投影为更小的近似MDP以求解子目标。
• 构建选项模型（含策略μ与终止条件β），表示高层行为，每个选项具有转移矩阵P与奖励向量R。
• 在聚合MDP上应用值迭代以近似求解子目标，然后将这些模型作为输入用于精确求解完整MDP。
• 引入启动集以限制子目标仅在靠近子目标的状态中使用，提升效率与收敛速度。
• 采用修改后的值迭代算法，仅在启动集上操作，减少计算量，同时保持对最优值函数的收敛性。

实验结果

研究问题

• RQ1 能否在值迭代框架中结合选项与状态聚合，以实现中等规模MDP上的更快收敛？
• RQ2 时间抽象（选项）与状态抽象（聚合）的整合是否能产生协同增益，超越单一技术的性能提升？
• RQ3 在使用近似子目标解的前提下，结合选项与聚合的值迭代算法是否仍能收敛至最优值函数？
• RQ4 启动集的使用如何影响分层值迭代中选项与聚合的效率与收敛性？
• RQ5 与普通值迭代相比，结合选项与聚合在迭代次数与运行时间上的定量性能提升是多少？

主要发现

• 在八数码难题上，该算法相比普通值迭代实现1.17倍加速（85.94秒 vs. 100.19秒），迭代次数从33次减少至25次。
• 在8个圆盘的汉诺塔问题中，运行时间从普通VI的51.65秒减少至23.45秒，随机版本中进一步降至21.71秒，均得益于选项与聚合的结合。
• 在汉诺塔问题中，迭代次数与子目标数量呈线性关系（4×3×r），而标准VI的迭代次数呈指数增长（2^r），尽管总时间仍因状态空间大小而保持指数级增长。
• 仅使用子目标而不使用启动集无法实现加速；只有引入启动集后，方法才优于普通VI，凸显了上下文感知子目标应用的重要性。
• 该算法是首个在结合选项与状态聚合的同时保证收敛至最优值函数的方法，而以往基于线性函数逼近的方法可能发散。
• 实证结果表明，只有当选项与状态聚合同时使用时，其优势才能被完全释放——单独使用任一技术均无法实现同等性能提升。