[论文解读] The Offset Tree for Learning with Partial Labels

Alina Beygelzimer, John Langford|arXiv (Cornell University)|Dec 21, 2008

Advanced Bandit Algorithms Research参考文献 15被引用 9

一句话总结

Offset Tree 是一种基于缩减的算法，将仅能观测到单一动作奖励的局部标签学习问题转化为二分类问题，从而复用标准的监督学习算法。其遗憾度缩放为 (k−1) 倍二分类器的遗憾度，且运行时间为 O(log k)，在实验中优于回归方法和重要性加权方法。

ABSTRACT

We present an algorithm, called the Offset Tree, for learning to make decisions in situations where the payoff of only one choice is observed, rather than all choices. The algorithm reduces this setting to binary classification, allowing one to reuse of any existing, fully supervised binary classification algorithm in this partial information setting. We show that the Offset Tree is an optimal reduction to binary classification. In particular, it has regret at most $(k-1)$ times the regret of the binary classifier it uses (where $k$ is the number of choices), and no reduction to binary classification can do better. This reduction is also computationally optimal, both at training and test time, requiring just $O(\log_2 k)$ work to train on an example or make a prediction. Experiments with the Offset Tree show that it generally performs better than several alternative approaches.

研究动机与目标

• 解决仅能观测到一个动作奖励而非全部 k 个奖励的局部反馈学习挑战。
• 开发一种非交互式学习方法，可利用历史数据和有限反馈进行策略学习。
• 提供从局部标签问题到二分类问题的缩减方法，具备紧密的遗憾边界和计算效率。
• 在遗憾度和计算复杂度方面建立该缩减方法的理论最优性。

提出的方法

• 使用二叉树结构将局部标签问题缩减为二分类问题，其中每个内部节点表示两个动作之间的二元决策。
• 在每个内部节点，算法通过加权奖励差构建二分类问题，以模拟反事实反馈。
• 关键创新在于“偏移”技巧：当观测到低奖励动作时，算法将替代动作视为以修改后的奖励被选择，从而实现无偏估计。
• 算法通过递归树遍历进行预测，训练和推理时间均为 O(log₂k)。
• 它是一种预言机算法，意味着可利用现有二分类器中的隐式优化，而无需暴力策略搜索。
• 遗憾度边界通过遗憾分析推导得出，表明策略遗憾度至多为二分类器遗憾度的 (k−1) 倍。

实验结果

研究问题

• RQ1 能否通过将局部标签学习缩减为二分类问题，实现关于动作数 k 的最优遗憾度缩放？
• RQ2 是否可能设计一种计算高效的局部标签学习算法，使其时间复杂度为 O(log k) 而非 O(k)？
• RQ3 在预测误差方面，Offset Tree 与基于回归和重要性加权的基线方法相比表现如何？
• RQ4 该算法能否适应可实现情形（无噪声），以在性能上超越现有如 Banditron 的上下文多臂赌博机算法？

主要发现

• Offset Tree 的遗憾度边界为 (k−1) 倍二分类器遗憾度，这是最优的——任何缩减方法都无法保证更优的边界。
• 该算法在每个样本的训练和测试时间均为 O(log₂k)，相较于 O(k) 的替代方法具有计算最优性。
• 在实验中，Offset Tree 显著优于基于回归的方法，多个数据集上的误差率均明显更低。
• 在 4 类 Reuters RCV1 数据集上，Offset Tree 的可实现版本达到 10.72% 的误差率，优于 Banditron 的 16.3% 误差率。
• 重要性加权基线方法的性能与 Offset Tree 相当或略差，表明后者在处理局部反馈方面更具优势。
• 即使未进行超参数调优，该方法依然表现稳健，表明其在实际部署中具备良好的实用性。