[论文解读] Reoptimization Nearly Solves Weakly Coupled Markov Decision Processes

Nicolas Gast, Bruno Gaujal+1 more|arXiv (Cornell University)|Nov 3, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文提出了针对有限时域弱耦合马尔可夫决策过程（MDPs）的 LP 更新策略，该模型是具有多种动作和约束条件的非活跃猎犬（restless bandits）的推广。通过在每个时间步求解一个线性规划（LP），并应用舍入过程，该策略实现了渐近最优性，收敛速率为 𝒪(1/√N)，在非退化条件下提升至 𝒪(1/N)，在完美舍入条件下达到 e⁻ᴼ⁽ᴺ⁾，并具备理论保证与高效实现。

ABSTRACT

We propose a new policy, called the LP-update policy, to solve finite horizon weakly-coupled Markov decision processes. The latter can be seen as multi-constraint multi-action bandits, and generalize the classical restless bandit problems. Our solution is based on re-solving periodically a relaxed version of the original problem, that can be cast as a linear program (LP). When the problem is made of $N$ statistically identical sub-components, we show that the LP-update policy becomes asymptotically optimal at rate $O(T^2/\sqrt{N})$. This rate can be improved to $O(T/\sqrt{N})$ if the problem satisfies some ergodicity property and to $O(1/N)$ if the problem is non-degenerate. The definition of non-degeneracy extends the same notion for restless bandits. By using this property, we also improve the computational efficiency of the LP-update policy. We illustrate the performance of our policy on randomly generated examples, as well as a generalized applicant screening problem, and show that it outperforms existing heuristics.

研究动机与目标

• 为具有多种动作和约束条件的弱耦合 MDP 缺乏渐近最优策略的问题提供解决方案，实现对经典非活跃猎犬模型的推广。
• 填补现有策略在多动作、多约束 MDP 中缺乏渐近最优性证明的理论空白。
• 设计一种可扩展、高效的策略，利用线性规划与舍入方法解决大规模随机序贯决策问题。
• 在多种结构假设（如非退化与完美舍入）下，建立所提策略的收敛速率理论分析。
• 为现实应用（如广义申请人筛选）提供一种实用且理论基础坚实的解决方案。

提出的方法

• LP 更新策略在每个决策时刻 t 求解一个时变线性规划（LP），利用当前状态配置 M^(N)(t) 和剩余时域 T−t 计算最优分数动作分布 y*(t)。
• 通过基于下取整的舍入方法计算可行的整数动作计数向量 Y^(N)(t)：Y^(N)_{s,a}(t) = N⁻¹⌊Ny*_{s,a}(t)⌋（a≠0），并调整被动动作以满足资源约束。
• 利用舍入后的动作计数实现系统向下一时间步的转移，确保在全局资源约束下的可行性。
• 理论分析基于动态规划原理与最优性原理，将策略的价值与松弛 LP 的值 V_rel 进行比较。
• 采用利普希茨连续性论证，界定向策略性能与 LP 松弛之间的偏差，建立 𝒪(1/√N) 最优性。
• 引入一种高级舍入程序，以在非退化与可完美舍入问题中提升收敛速率。

实验结果

研究问题

• RQ1 能否为具有多种动作和约束条件的弱耦合 MDP 设计一种在 N→∞ 时实现渐近最优性的策略？
• RQ2 此类策略的理论收敛速率如何？其依赖于非退化或完美舍入等结构特性？
• RQ3 在大规模场景下，LP 更新策略与现有策略在性能与计算效率方面相比如何？
• RQ4 能否优化舍入过程，使在特定问题条件下收敛速率超越 𝒪(1/√N)？
• RQ5 LP 更新策略是否可在保持理论性能保证的同时实现高效实现？

主要发现

• LP 更新策略对任意具有统计同质臂的弱耦合 MDP，均实现 𝒪(1/√N) 渐近最优性。
• 在非退化条件下，收敛速率提升至 𝒪(1/N)，扩展了两动作非活跃猎犬模型中已知的性质。
• 若问题存在完美舍入，收敛速率变为指数级快速，即 e⁻ᴼ⁽ᴺ⁾，显著优于一般情形。
• 策略被证明为 𝒪(1/√N)-最优，且匹配的下界表明该速率在一般情况下为紧致。
• 所提出的舍入程序使高效实现成为可能，在保持理论保证的同时提升实际性能。
• 在广义申请人筛选问题上的实验验证了该方法的强经验性能，与理论预测高度一致。