[论文解读] Stateful Posted Pricing with Vanishing Regret via Dynamic Deterministic Markov Decision Processes

Yuval Emek, Ron Lavi+2 more|arXiv (Cornell University)|May 4, 2020

Advanced Bandit Algorithms Research被引用 5

一句话总结

本文提出了一种新型在线学习框架，用于对抗性估值下的有状态报价定价，利用动态确定性马尔可夫决策过程（Dd-MDP）实现渐近 regrets。证明了当一个预言机能够以有界损失模拟任意策略时，可实现次线性 regrets，该框架在在线作业调度和动态二分图匹配中的应用分别得到 $ O(\sqrt{CW T \log|\Gamma|}) $ 和 $ O(W^{1/4}T^{3/4}\sqrt{\log|\Gamma|}) $ 的 regrets 边界。

ABSTRACT

In this paper, a rather general online problem called dynamic resource allocation with capacity constraints (DRACC) is introduced and studied in the realm of posted price mechanisms. This problem subsumes several applications of stateful pricing, including but not limited to posted prices for online job scheduling and matching over a dynamic bipartite graph. As the existing online learning techniques do not yield vanishing-regret mechanisms for this problem, we develop a novel online learning framework defined over deterministic Markov decision processes with dynamic state transition and reward functions. We then prove that if the Markov decision process is guaranteed to admit an oracle that can simulate any given policy from any initial state with bounded loss -- a condition that is satisfied in the DRACC problem -- then the online learning problem can be solved with vanishing regret. Our proof technique is based on a reduction to online learning with switching cost, in which an online decision maker incurs an extra cost every time she switches from one arm to another. We formally demonstrate this connection and further show how DRACC can be used in our proposed applications of stateful pricing.

研究动机与目标

• 为解决有状态定价机制在对抗性在线学习中的空白，现有技术在容量约束下无法实现渐近 regrets。
• 形式化一个通用的在线资源分配问题——带容量约束的动态资源分配（DRACC），以捕捉现实电商和云平台中的有状态定价。
• 基于动态确定性马尔可夫决策过程（Dd-MDP）开发一种新型在线学习框架，当存在可实现有界损失策略模拟的预言机时，可支持渐近 regrets。
• 展示该框架在两个关键应用中的适用性：在线作业调度与动态二分图匹配。
• 在对抗性估值下，为这些应用建立紧致的 regrets 边界，克服了先前随机或无状态模型的局限性。

提出的方法

• 将 DRACC 问题引入为一种通用框架，用于具有动态库存和对抗性估值的在线资源分配，其中价格必须遵守容量和状态约束。
• 提出一种新的决策抽象——动态确定性马尔可夫决策过程（Dd-MDP），通过时变状态转移和奖励函数来建模有状态定价。
• 建立从 Dd-MDP 问题到带切换成本的在线学习的归约，从而可应用已知的 regrets 最小化技术。
• 证明：若存在一个预言机，可从任意初始状态以有界损失模拟任意策略，则在 Dd-MDP 框架中可实现渐近 regrets。
• 利用与切换成本在线学习的联系，通过一种新颖的策略偏离与状态演化分析，推导出 regrets 边界。
• 将该框架应用于两个具体应用：在线作业调度（OJS）与动态二分图匹配（MDBG），并展示其如何归约为 DRACC。

实验结果

研究问题

• RQ1 在供应有限且过去决策影响当前状态的对抗性估值下，有状态报价定价机制能否实现渐近 regrets？
• RQ2 是否存在一种通用的在线学习框架，支持动态状态转移和奖励函数，从而在容量约束设置下实现次线性 regrets？
• RQ3 Dd-MDP 框架能否用于将有状态定价问题归约为已知的带切换成本的在线学习问题？
• RQ4 在对抗性估值下，使用所提框架对在线作业调度与动态二分图匹配可实现怎样的 regrets 边界？
• RQ5 所提机制在时间、容量与策略空间大小的 regrets 规模方面是否接近最优？

主要发现

• 所提机制对 DRACC 问题实现了渐近 regrets，对任意 T 轮实例和任意策略集合 Γ，其 regrets 均为 T 的次线性函数。
• 对于在线作业调度（OJS），其 regrets 边界为 $ O\left(\sqrt{CW \cdot T \log|\Gamma|}\right) $，接近最优，优于先前工作。
• 对于动态二分图匹配（MDBG），其 regrets 边界为 $ O\left(W^{1/4}T^{3/4}\sqrt{\log|\Gamma|}\right) $，展示了其在复杂有状态设置中的适用性。
• 该框架可归约为带切换成本的在线学习，从而可在具有动态状态与奖励函数的新场景中应用现有 regrets 最小化工具。
• 存在有界损失策略预言机即足以保证实现渐近 regrets，使该框架适用于广泛的实际定价问题。
• 结果表明，有状态定价可在对抗性环境中被有效处理，而无需依赖随机假设或无限供应。