[论文解读] Multi-scale Online Learning and its Applications to Online Auctions

Sébastien Bubeck, Nikhil R. Devanur+2 more|arXiv (Cornell University)|May 26, 2017

Auction Theory and Applications参考文献 5被引用 5

一句话总结

本文提出了多尺度在线学习，这是多臂赌博机和专家问题的推广，其中遗憾与每个动作的个体收益范围成比例，而非全局最大值。其遗憾界与最佳固定价格成比例，而非价值范围，从而在在线拍卖和定价中实现近似最优性能，并匹配离线信息论下限的样本复杂度。

ABSTRACT

We consider revenue maximization in online auction/pricing problems. A seller sells an identical item in each period to a new buyer, or a new set of buyers. For the online posted pricing problem, we show regret bounds that scale with the best fixed price, rather than the range of the values. We also show regret bounds that are almost scale free, and match the offline sample complexity, when comparing to a benchmark that requires a lower bound on the market share. These results are obtained by generalizing the classical learning from experts and multi-armed bandit problems to their multi-scale versions. In this version, the reward of each action is in a different range, and the regret w.r.t. a given action scales with its own range, rather than the maximum range.

研究动机与目标

• 为解决标准在线学习遗憾界随最大值范围缩放的低效问题，尤其是在使用保守上界时存在困难。
• 开发遗憾界与每个动作收益的个体范围成比例，而非全局最大范围的在线学习算法。
• 将这些多尺度学习技术应用于在线拍卖和定价问题，特别是在反馈为bandit且买家估值未知的场景中。
• 建立在线遗憾界与离线样本复杂度下限在收益最大化问题中的联系。
• 通过与Cole和Roughgarden（2014）以及Huang等人（2015a）的信息论下限相匹配，证明所提出的遗憾界近乎最优。

提出的方法

• 提出一种基于加权负熵镜像映射的多尺度在线镜像下降（OSMD）变体，该映射针对每个动作的特定收益范围进行定制。
• 设计了适用于全信息和bandit反馈设置的算法，确保每个动作的遗憾与其自身收益范围成比例。
• 使用Kullback-Leibler（KL）散度论证推导遗憾的下限，表明任何在最佳价格上具有次线性遗憾的算法，都必须在最坏情况实例中承担显著的遗憾。
• 将多尺度学习框架应用于在线报价定价和多买家拍卖，将单件商品结果推广至多件商品场景。
• 将在线拍卖问题转化为多尺度在线学习问题，实现与价值范围h无关的更紧致遗憾界。
• 采用随机构造增益向量的方法证明下限，通过构造两个具有对称增益分布的实例，推导出基于矛盾的遗憾限制。

实验结果

研究问题

• RQ1 在线学习算法能否在在线定价中实现遗憾与最佳固定价格成比例，而非与最大值范围成比例？
• RQ2 在假设市场占有率下界的前提下，是否可能设计出与离线样本复杂度下限匹配的尺度无关遗憾界？
• RQ3 如何将经典在线学习问题（如专家问题和多臂赌博机）推广以处理具有不同收益范围的动作？
• RQ4 在收益最大化问题中，在线遗憾界与离线样本复杂度之间存在何种关系？
• RQ5 多尺度学习技术能否应用于具有bandit反馈和多个买家的在线拍卖？

主要发现

• 本文建立了遗憾界，其与最佳固定价格成比例，而非与最大值范围h成比例，显著优于标准遗憾界随h线性增长的性能。
• 对于在线报价定价问题，遗憾界被限制为O(εT) + O(ε⁻¹h)，其中加法项依赖于最佳价格，而非范围h。
• 所提出的多尺度在线学习框架实现了遗憾与每个动作的个体收益范围成比例，而非全局最大范围。
• 遗憾界近乎最优，与Cole和Roughgarden（2014）以及Huang等人（2015a）的离线样本复杂度下限相匹配。
• 证明了下限：任何遗憾为o(εT) + o(ε⁻¹h)的算法将违反信息论极限，从而确认其近乎最优性。
• 该框架可扩展至bandit反馈和多买家拍卖场景，同时保持近乎最优的遗憾性能。