[论文解读] Structural Results for Partially Observed Markov Decision Processes

Vikram Krishnamurthy|arXiv (Cornell University)|Dec 12, 2015

Reinforcement Learning in Robotics参考文献 10被引用 7

一句话总结

本文利用格规划与随机占优性，对部分可观测马尔可夫决策过程（POMDP）提出结构化结果，通过无需穷举计算的方式刻画最优策略。研究建立了最优策略呈现单调性、阈值型或次模性的条件，从而可通过贪心策略边界与凸优化方法，实现低秩转移矩阵近似下的高效计算与敏感性分析。

ABSTRACT

This article provides an introductory tutorial on structural results in partially observed Markov decision processes (POMDPs). Typically, computing the optimal policy of a POMDP is computationally intractable. We use lattice program- ming methods to characterize the structure of the optimal policy of a POMDP without brute force computations.

研究动机与目标

• 开发POMDP中最优策略的结构化表征，避免依赖暴力计算。
• 通过随机占优性与格理论，识别最优策略呈现单调性、阈值型或次模性的条件。
• 通过贪心策略边界与低秩转移矩阵的凸优化，实现高效策略计算。
• 利用占优关系分析最优成本对状态与观测动态变化的敏感性。
• 为控制感知、序列检测与社会学习等领域设计可扩展算法提供理论基础。

提出的方法

• 利用格规划与随机占优性（如MLR占优、拟正定占优）推导最优策略的结构特性。
• 应用Topkis单调性定理与次模性理论，刻画POMDP与停止时间问题中的最优策略。
• 采用信念状态表述与信念压缩的动态规划方法，降低问题维度。
• 开发有限horizon POMDP的值迭代与基于点的方法，包括Lovejoy的次优算法与增量剪枝技术。
• 通过核范数最小化与重加权核范数，构建转移矩阵的低秩近似，以降低滤波复杂度。
• 通过拟正定占优性构造贪心策略边界，并优化该边界以逼近最优策略。

实验结果

研究问题

• RQ1 在何种条件下，POMDP中的最优策略关于信念状态或观测历史呈现单调性？
• RQ2 如何利用次模性与MLR占优性等结构特性简化POMDP策略计算？
• RQ3 POMDP中最优成本与转移矩阵及观测矩阵之间存在何种关系？
• RQ4 在随机占优性条件下，贪心策略能否作为最优策略的紧致边界？
• RQ5 如何构建转移矩阵的低秩近似，以在保持性能边界的同时降低滤波复杂度？

主要发现

• 在MLR随机序下，POMDP的最优值函数关于信念状态单调递增，从而可实现基于阈值的策略结构。
• 对于停止时间POMDP，当似然比具有随机单调性时，最优策略可由线性阈值刻画，确保停止区域的凸性。
• 通过拟正定占优性构造的贪心策略边界可紧密逼近最优策略，数值示例显示其接近最优。
• 通过核范数最小化与重加权核范数构建的低秩转移矩阵，能为最优滤波提供紧致的上下界，显著降低计算复杂度。
• 在MLR序下，POMDP的最优成本随转移矩阵单调变化，支持敏感性分析。
• 在机器更换POMDP中，最优策略具有单调性，且可通过信念压缩与基于格的方法高效计算。