[论文解读] Online Allocation and Pricing: Constant Regret via Bellman Inequalities

Alberto Vera, Siddhartha Banerjee+1 more|arXiv (Cornell University)|Jun 14, 2019

Advanced Bandit Algorithms Research参考文献 31被引用 11

一句话总结

本文提出了一种新颖的在线资源分配与定价框架，利用贝尔曼不等式实现恒定遗憾——即遗憾与时间范围或预算无关——通过平衡计算可处理性与预测不确定性。该方法使用一个计算可行的离线基准，并在每个周期重新求解一个线性规划，结合贪婪动作规则，从而在在线0-1背包问题、探测问题、动态定价以及带背包的上下文多臂赌博机问题中，生成简单且高效的策略，且具有强大的理论保证。

ABSTRACT

We develop a framework for designing simple and efficient policies for a family of online allocation and pricing problems, that includes online packing, budget-constrained probing, dynamic pricing, and online contextual bandits with knapsacks. In each case, we evaluate the performance of our policies in terms of their regret (i.e., additive gap) relative to an offline controller that is endowed with more information than the online controller. Our framework is based on Bellman Inequalities, which decompose the loss of an algorithm into two distinct sources of error: (1) arising from computational tractability issues, and (2) arising from estimation/prediction of random trajectories. Balancing these errors guides the choice of benchmarks, and leads to policies that are both tractable and have strong performance guarantees. In particular, in all our examples, we demonstrate constant-regret policies that only require re-solving an LP in each period, followed by a simple greedy action-selection rule; thus, our policies are practical as well as provably near optimal.

研究动机与目标

• 设计简单、高效的在线策略，用于在不确定性下的资源分配，并提供可证明的性能保证。
• 解决高维在线决策问题的挑战，其中传统动态规划因维度灾难而失效。
• 开发一个统一的框架，适用于多种问题，包括在线装箱、预算约束下的探测、动态定价以及带背包的上下文多臂赌博机。
• 相对于离线基准实现与时间范围和初始预算无关的恒定遗憾。
• 将遗憾分解为两个可解释的组成部分：贝尔曼损失（计算不可行性）与信息损失（预测不确定性），从而支持更优的策略设计。

提出的方法

• 该框架利用贝尔曼不等式刻画可行的基准，以平衡计算可处理性与信息可用性。
• 提出一种两部分遗憾分解：使用计算可行的基准而非完整动态规划所导致的贝尔曼损失，以及因未来轨迹不确定性带来的信息损失。
• 自适应地构建一个计算可行的离线基准，以反映部分未来信息，从而指导在线策略设计。
• 在每个周期，策略基于当前状态和基准重新求解一个线性规划，随后应用贪婪动作选择规则。
• 该框架被应用于四类问题：在线随机0-1背包问题、在线探测问题、动态定价问题以及带背包的上下文多臂赌博机问题。
• 对于上下文多臂赌博机问题，该框架将组合优化与参数估计解耦，使用一个赌博机模块学习排序结果，从而减少信息损失。

实验结果

研究问题

• RQ1 能否开发出一个统一框架，使多种在线分配与定价问题均能实现恒定遗憾？
• RQ2 如何将遗憾分解为计算可处理性与预测不确定性两部分，以指导策略设计？
• RQ3 何种类型的离线基准可确保恒定遗憾，同时保持计算可行性？
• RQ4 仅通过重新求解的简单策略能否在不求解完整动态规划的情况下实现近似最优性能？
• RQ5 在在线决策中使用学习或估计参数时，如何对信息损失进行有界控制？

主要发现

• 该框架在在线0-1背包问题、探测问题、动态定价以及带背包的上下文多臂赌博机问题中均实现了恒定遗憾——即遗憾值不随时间范围T或初始预算B而增长。
• 所有策略仅需在每个周期重新求解一个线性规划，随后执行一次贪婪动作选择，确保了实际应用中的高效性与可行性。
• 将遗憾分解为贝尔曼损失与信息损失，为在线决策中的性能权衡提供了结构化洞见。
• 对于带背包的上下文多臂赌博机问题，完整算法的期望遗憾被限制在全反馈策略的遗憾加上与探索和估计误差相关的项之内，且使用简单赌博机模块可实现O(log T)的遗憾。
• 该框架可推广至其他具有相似结构的在线资源分配问题，具有良好的泛化能力。
• 针对具有线性可表示基准的问题，提供了验证贝尔曼不等式的充分条件，从而增强了框架的适用性与实用性。