[论文解读] Online Markov Decision Processes with Terminal Law Constraints

Bianca Marin Moreno, Margaux Brégère+2 more|arXiv (Cornell University)|Jan 12, 2026

Advanced Bandit Algorithms Research被引用 0

一句话总结

本论文为未知动态和对手性损失的在线 MDP 引入一个无重置的周期性框架，定义周期性策略，并在多智能体设置下给出具有子线性周期 regret 的算法。

ABSTRACT

Traditional reinforcement learning usually assumes either episodic interactions with resets or continuous operation to minimize average or cumulative loss. While episodic settings have many theoretical results, resets are often unrealistic in practice. The infinite-horizon setting avoids this issue but lacks non-asymptotic guarantees in online scenarios with unknown dynamics. In this work, we move towards closing this gap by introducing a reset-free framework called the periodic framework, where the goal is to find periodic policies: policies that not only minimize cumulative loss but also return the agents to their initial state distribution after a fixed number of steps. We formalize the problem of finding optimal periodic policies and identify sufficient conditions under which it is well-defined for tabular Markov decision processes. To evaluate algorithms in this framework, we introduce the periodic regret, a measure that balances cumulative loss with the terminal law constraint. We then propose the first algorithms for computing periodic policies in two multi-agent settings and show they achieve sublinear periodic regret of order $ ilde O(T^{3/4})$. This provides the first non-asymptotic guarantees for reset-free learning in the setting of $M$ homogeneous agents, for $M > 1$.

研究动机与目标

• 在未知动态的无重置在线 MDP 中对周期性策略进行形式化。
• 提出一种考虑终止分布约束的周期性 regret 指标。
• 为多智能体、对抗性损失的设置开发计算周期性策略的算法。
• 在 M>1 的智能体场景下建立周期性 regret 的非渐进保证。

提出的方法

• 将周期性策略定义为 rho P_pi = rho 的策略，确保在 N 步后回到初始分布。
• 引入凸 RL 框架以处理状态-行动分布上的一般凸损失。
• 开发基于奖励的探索性 Mirror Descent 算法（MDPP-K），以处理未知转移和对抗性损失。
• 使用带有终止法约束的受限 MDP 形式，并通过奖金将约束转化为可行的不等式。
• 提供两种框架：框架 1 在已知 rho_t 下，框架 2 在估计的 rho_t 与有限重置条件下，两者均可获得周期性 regret 界。
• 在适当条件下分析并证明一个非渐进的周期性 regret 上界，阶为 tilde-O(T^{3/4})。

实验结果

研究问题

• RQ1 在未知动态的在线 MDP 中，哪些条件能确保周期性策略的存在？
• RQ2 如何定义并最小化一个在累积损失与终止分布约束之间取得平衡的周期性 regret？
• RQ3 我们能否设计具有可证明非渐进保证的在线算法，用于多智能体同质代理的无重置学习？
• RQ4 未知转移动态如何影响可行性，奖金如何确保探索与约束满足？

主要发现

• 提出周期性策略概念和收缩假设 2，确保收敛到 rho 的遍历性。
• 引入周期性 regret R_T，结合累积损失差异与终止分布偏差。
• MDPP-K 算法在 M>1 智能体下实现子线性周期性 regret，阶为 tilde-O(T^{3/4})。
• 提供两种框架（已知 rho_t 与未知 rho_t 但有限重置）及其相应的 regret 保证。
• 在对抗性损失下，证明受限 MD 问题的可行性及高概率界。