[论文解读] Multi-Task Learning for Contextual Bandits

Aniket Anand Deshmukh, Ürün Doǧan+1 more|arXiv (Cornell University)|May 24, 2017

Advanced Bandit Algorithms Research参考文献 3被引用 30

一句话总结

本文提出了一种核化多任务学习上置信度上限（KMTL-UCB）算法，用于上下文Bandit问题，通过利用不同动作之间的任务相似性来改进奖励估计并减少遗憾。通过使用基于核函数的任务相似性矩阵，将相似动作的数据进行聚合，该方法实现了更紧致的遗憾边界，并在基准数据集上实证表现优于标准的Lin-UCB和Kernel-UCB，尤其在动作高度相似时表现更优。

ABSTRACT

Contextual bandits are a form of multi-armed bandit in which the agent has access to predictive side information (known as the context) for each arm at each time step, and have been used to model personalized news recommendation, ad placement, and other applications. In this work, we propose a multi-task learning framework for contextual bandit problems. Like multi-task learning in the batch setting, the goal is to leverage similarities in contexts for different arms so as to improve the agent's ability to predict rewards from contexts. We propose an upper confidence bound-based multi-task learning algorithm for contextual bandits, establish a corresponding regret bound, and interpret this bound to quantify the advantages of learning in the presence of high task (arm) similarity. We also describe an effective scheme for estimating task similarity from data, and demonstrate our algorithm's performance on several data sets.

研究动机与目标

• 为解决标准上下文Bandit算法将每个动作独立处理或对所有动作进行统一聚合的局限性。
• 开发一种自适应聚合相似动作数据的多任务学习框架，以改进上下文Bandit中的奖励估计。
• 建立一个理论遗憾边界，量化多任务上下文Bandit中任务相似性的优势。
• 设计一种在线方法，从观测数据中估计任务相似性。
• 通过真实世界数据集的实证验证，证明该算法在减少遗憾和提升样本效率方面的性能优势。

提出的方法

• 提出一种核化多任务学习UCB（KMTL-UCB）算法，将奖励函数建模为上下文与任务相似性的核函数形式。
• 通过基于动作身份的核函数定义任务相似性矩阵，实现相似动作之间的共享学习。
• 采用上置信度上限策略，其中置信度项同时结合了上下文和任务相似性的不确定性。
• 使用正则化核岭回归估计器，通过共享先验结构联合学习各动作的奖励函数。
• 提出一种数据驱动方法，利用观测到的奖励数据和核函数在线估计任务相似性矩阵。
• 推导出一个显式依赖于任务相似性的遗憾边界，表明当动作高度相似时性能更优。

实验结果

研究问题

• RQ1 多任务学习原理是否能通过利用动作之间的相似性，提升上下文Bandit设置下的样本效率和遗憾表现？
• RQ2 在多任务上下文Bandit框架中，任务相似性如何影响理论遗憾边界？
• RQ3 在上下文Bandit设置中，从有限且在线的奖励数据中，如何有效估计任务相似性？
• RQ4 与标准的Lin-UCB和Kernel-UCB相比，所提出的KMTL-UCB算法在遗憾和收敛性方面表现如何？
• RQ5 在何种条件下，多任务学习相较于独立学习或完全聚合学习在上下文Bandit中具有显著优势？

主要发现

• KMTL-UCB的遗憾边界与任务相似性矩阵的最大特征值之和成比例，表明任务相似性越高，遗憾越低。
• 在合成数据集和真实世界数据集上，该算法的遗憾显著低于Lin-UCB和Kernel-UCB，尤其在动作高度相似时表现更优。
• 在线估计任务相似性的方法能有效捕捉动作之间的潜在相似性，并提升学习性能。
• 在Multiclass数据集上的实证结果表明，当任务相似性较高时，KMTL-UCB相比基线方法将累积遗憾降低了最多30%。
• 理论分析证实，当动作具有结构相似性时，多任务学习能提供可证明的优势，且随着任务相似性增加，遗憾随之降低。
• 该算法在不同数据环境下表现出鲁棒性和可扩展性，尤其在低数据条件下性能增益最为显著。