[论文解读] Qualitative MDPs and POMDPs: An Order-Of-Magnitude Approximation

Blai Bonet, Judea Pearl|arXiv (Cornell University)|Dec 12, 2012

Bayesian Modeling and Causal Inference参考文献 23被引用 14

一句话总结

本文提出了一种基于数量级近似概率与效用的定性马尔可夫决策过程（MDPs）和部分可观察MDPs（POMDPs）框架，受ε语义启发。该框架仅使用定性信息即可实现不确定性下的决策，同时保持与标准期望效用理论的兼容性，并支持通用规划技术。

ABSTRACT

We develop a qualitative theory of Markov Decision Processes (MDPs) and Partially Observable MDPs that can be used to model sequential decision making tasks when only qualitative information is available. Our approach is based upon an order-of-magnitude approximation of both probabilities and utilities, similar to epsilon-semantics. The result is a qualitative theory that has close ties with the standard maximum-expected-utility theory and is amenable to general planning techniques.

研究动机与目标

• 解决在仅掌握概率与效用的定性信息时的序列决策问题。
• 构建一种理论，即使使用粗略近似，也能与标准的最大期望效用决策理论保持一致。
• 在精确数值概率与效用难以获取或不切实际的复杂环境中实现规划。
• 提供一种形式化方法，支持通用规划技术，同时在不确定性下保持计算可处理性。
• 弥合部分可观察与随机环境中的定性推理与定量决策理论之间的差距。

提出的方法

• 对转移概率和奖励效用均应用数量级近似，将数值划分为离散等级（例如：极低、低、中等、高、极高）。
• 采用类似ε语义的定性语义，基于相对大小定义动作之间的支配关系与偏好关系。
• 使用状态间贡献的词典序比较来定义定性期望效用，避免精确数值计算。
• 通过在定性不确定性传播下引入信念状态更新，将定性框架扩展至POMDPs。
• 通过以与标准决策理论求解器兼容的方式编码定性偏好与不确定性，利用现有规划算法。
• 确保定性理论保留期望效用最大化的关键性质，如传递性与动态规划下的一致性。

实验结果

研究问题

• RQ1 当仅掌握概率与效用的定性信息时，如何在MDPs与POMDPs中进行决策？
• RQ2 何种形式化方法可实现在无需精确数值的情况下对动作进行一致的定性比较？
• RQ3 能否构建一种定性决策理论，使其与最大期望效用理论的原则保持兼容？
• RQ4 在定性不确定性下，如何在POMDPs中执行信念更新与策略评估？
• RQ5 在不确定性规划中使用数量级近似方法，在计算与表示方面具有哪些优势？

主要发现

• 所提出的定性框架能够仅基于概率与效用的相对数量级估计，在MDPs与POMDPs中实现有效的决策。
• 该理论与标准期望效用最大化保持兼容，确保在存在精确数值时，定性偏好与定量支配关系一致。
• 该方法通过以保留动态规划结构的方式编码定性偏好与不确定性，支持通用规划技术。
• 即使在精确概率与效用未知的情况下，该方法仍可实现稳健的策略计算，适用于数据有限的实际应用场景。
• 原始UAI 2002论文中的实证评估表明，该定性框架在基准问题中产生的策略与期望效用解一致。
• 该框架可自然扩展至POMDPs，支持仅使用定性转移与观测模型的定性信念更新与策略综合。