[论文解读] Optimal Resource Allocation with Semi-Bandit Feedback

Tor Lattimore, Koby Crammer+1 more|arXiv (Cornell University)|Jun 15, 2014

Advanced Bandit Algorithms Research参考文献 20被引用 12

一句话总结

本文提出了一种具有半-bandit反馈的新型序列资源分配问题，其中学习者需在时间跨度内将有限资源分配至K项任务以最大化完成的任务数。该文提出一种乐观算法，实现了对数多项式 regret，相较于标准 bandit 方法，在资源充裕的场景下显著提升了学习速度，并建立了相对于全知最优策略的性能损失的紧密理论边界。

ABSTRACT

We study a sequential resource allocation problem involving a fixed number of recurring jobs. At each time-step the manager should distribute available resources among the jobs in order to maximise the expected number of completed jobs. Allocating more resources to a given job increases the probability that it completes, but with a cut-off. Specifically, we assume a linear model where the probability increases linearly until it equals one, after which allocating additional resources is wasteful. We assume the difficulty of each job is unknown and present the first algorithm for this problem and prove upper and lower bounds on its regret. Despite its apparent simplicity, the problem has a rich structure: we show that an appropriate optimistic algorithm can improve its learning speed dramatically beyond the results one normally expects for similar problems as the problem becomes resource-laden.

研究动机与目标

• 解决一个序列资源分配问题，其中任务完成概率取决于分配的资源，且在达到截止点前呈线性关系。
• 通过参数 νk 建模每项任务的未知难度，并设计一种通过反馈学习这些参数的算法。
• 开发一种新算法，使其在资源稀缺和资源充裕两种情形下均实现最优 regret 表现。
• 建立 regret 的理论上下界，证明在高资源设置下学习速度的提升。

提出的方法

• 学习者在每个时间步 t 为每项任务 k 分配资源 M_{k,t}，受限于 ∑M_{k,t} ≤ 1。
• 任务完成被建模为成功概率为 β(M_{k,t}/νk) = min{1, M_{k,t}/νk} 的伯努利试验。
• 乐观算法维护 νk 的置信区间，并基于最低估计难度选择分配。
• 算法使用加权估计器以优先考虑更具信息量的样本，从而提高估计效率。
• 理论分析采用剥皮论证法，并结合鞅版本的伯恩斯坦不等式，以界定经验估计的偏差。
• regret 边界被表示为问题动态的函数，显示出对时间跨度 n 的对数多项式依赖。

实验结果

研究问题

• RQ1 当反馈为半-bandit 且每时间步资源可重置时，如何在未知难度的任务之间实现资源的最优分配？
• RQ2 在此资源分配问题中，根本的学习速度极限是什么？它与标准 bandit 或全信息设置有何不同？
• RQ3 乐观算法能否在此问题中实现对数多项式 regret？若能，其成立条件为何？
• RQ4 问题结构——特别是线性成功概率模型——如何影响可实现的 regret 和学习动态？
• RQ5 当某些样本比其他样本更具信息量时，加权估计器在提升学习效率方面起到什么作用？

主要发现

• 所提出的乐观算法实现了相对于已知所有 νk 的全知最优策略的对数多项式 regret。
• regret 边界对问题情形高度敏感：在资源充裕的场景下表现如全信息问题，在资源稀缺的场景下则如 bandit 问题。
• 该算法在资源充裕的场景下学习速度显著提升，优于标准 bandit 式学习速率。
• 使用加权估计器显著提升了估计精度，尤其在某些分配产生更具信息量的反馈时。
• 理论分析证明，利用改进的鞅集中不等式，regret 以高概率有界。
• regret 的下界与上界仅相差对数因子，证实了算法的最优性。