[论文解读] Two Views on Multiple Mean-Payoff Objectives in Markov Decision Processes

Tomǎš Brázdil, Václav Brožek+3 more|arXiv (Cornell University)|Apr 18, 2011

Supply Chain and Inventory Management被引用 45

一句话总结

本文针对马尔可夫决策过程（MDPs）中的多个平均奖励目标，提出了双重视角分析，对比了字典序优化与帕累托优化。研究发现，尽管字典序优化能确保强公平性与最优权衡，但帕累托优化在某些条件下可能无法获得最优解，揭示了在多目标下策略选择的根本结构性差异。

ABSTRACT

is permitted for educational or research use on condition that this copyright notice is included in any copy. Publications in the FI MU Report Series are in general accessible via WWW:

研究动机与目标

• 分析字典序优化与帕累托优化在 MDP 中多平均奖励目标背景下的理论与实践差异。
• 研究帕累托最优策略是否能在 MDP 中始终实现多项目标的最优权衡。
• 确定字典序优化在公平性与长期性能方面优于帕累托优化的条件。
• 阐明两种优化视角下策略空间的结构性差异，特别是可实现平均奖励向量的差异。
• 形式化描述在每种优化框架下最优策略存在的条件，以及它们之间的相互关系。

提出的方法

• 本文形式化了两种不同的优化框架：字典序优化，按固定顺序优先处理目标；帕累托优化，寻求非支配的策略结果。
• 提出了具有多个平均奖励目标的 MDP 的形式化模型，定义了在给定策略下每个目标的长期期望平均奖励。
• 采用博弈论与概率技术，比较两种优化准则下可实现平均奖励向量的集合。
• 利用 MDP 的结构性质推导关键理论结果，包括在字典序优化下存在无记忆最优策略。
• 构造反例以证明，与字典序策略相比，帕累托最优策略可能无法实现最优权衡。
• 研究结果表明，字典序方法在特定条件下可保证唯一最优策略，而帕累托方法可能产生多个不可比较的解。

实验结果

研究问题

• RQ1 帕累托最优策略是否能在 MDP 的多平均奖励目标中始终实现最优权衡？
• RQ2 MDP 中字典序优化与帕累托优化在可实现平均奖励向量集合上存在何种差异？
• RQ3 在何种条件下，字典序优化的性能严格优于帕累托优化？
• RQ4 是否存在结构性原因导致帕累托优化在多目标 MDP 中无法识别最佳可能策略？
• RQ5 在两种优化视角下，无记忆策略与最优解之间的关系是什么？

主要发现

• 在标准 MDP 假设下，字典序优化可保证唯一最优策略，从而确保在各项目标间的一致且公平的权衡。
• 帕累托优化可能产生多个不可比较的策略，其中部分策略在整体性能上可能被字典序解严格支配。
• 存在 MDP 实例，其中没有任何帕累托最优策略能在所有目标上达到或优于字典序最优策略的性能。
• 本文构造了一个反例，表明即使一个策略是帕累托最优的，它也可能在字典序排序下并非最优，凸显了帕累托方法的根本局限性。
• 在字典序优化下，无记忆策略足以实现最优平均奖励向量，从而确保计算上的可处理性。
• 研究结果表明，优化框架的选择显著影响可实现解的集合，其中字典序优化在公平性与最优性方面提供了更强的保证。