[论文解读] Multitask Learning and Bandits via Robust Statistics

Kan Xu, Hamsa Bastani|arXiv (Cornell University)|Dec 28, 2021

Advanced Bandit Algorithms Research被引用 5

一句话总结

该论文提出了一种鲁棒的多任务学习估计器，结合了鲁棒统计与LASSO回归，以在具有共享全局参数和稀疏实例特定参数的异质学习问题中提升样本效率。该方法在高维、数据稀缺的设定下实现了样本复杂度的指数级提升，并通过动态校准实现了上下文Bandit应用中的改进遗憾界。

ABSTRACT

Decision-makers often simultaneously face many related but heterogeneous learning problems. For instance, a large retailer may wish to learn product demand at different stores to solve pricing or inventory problems, making it desirable to learn jointly for stores serving similar customers; alternatively, a hospital network may wish to learn patient risk at different providers to allocate personalized interventions, making it desirable to learn jointly for hospitals serving similar patient populations. Motivated by real datasets, we study a natural setting where the unknown parameter in each learning instance can be decomposed into a shared global parameter plus a sparse instance-specific term. We propose a novel two-stage multitask learning estimator that exploits this structure in a sample-efficient way, using a unique combination of robust statistics (to learn across similar instances) and LASSO regression (to debias the results). Our estimator yields improved sample complexity bounds in the feature dimension $d$ relative to commonly-employed estimators; this improvement is exponential for "data-poor" instances, which benefit the most from multitask learning. We illustrate the utility of these results for online learning by embedding our multitask estimator within simultaneous contextual bandit algorithms. We specify a dynamic calibration of our estimator to appropriately balance the bias-variance tradeoff over time, improving the resulting regret bounds in the context dimension $d$. Finally, we illustrate the value of our approach on synthetic and real datasets.

研究动机与目标

• 解决在多个相关但异质的任务中学习的挑战，其中每个任务仅有有限的标注数据。
• 通过利用共享的全局参数和稀疏的实例特定偏差，提升高维设定下的样本效率。
• 开发一种鲁棒估计器，即使在辅助数据异质或噪声较大的情况下也能保持强性能。
• 通过同时上下文Bandit与动态校准，将估计器扩展至在线学习，以平衡偏差-方差权衡。
• 在合成数据集和真实世界数据集中，展示该方法相对于标准多任务学习和数据池化方法的理论与实证优势。

提出的方法

• 提出两阶段估计器：首先，使用Huber型M-估计器在所有实例上鲁棒地估计全局参数；其次，应用LASSO回归以恢复实例特定的稀疏偏差。
• 采用鲁棒统计框架处理实例间的异常值与异质性，确保全局参数估计的稳定性。
• 应用LASSO正则化以校正实例特定估计的偏差，并促进对全局均值的偏差稀疏性。
• 将估计器集成至一种同时上下文Bandit算法（RMBandit）中，通过动态校准超参数以随时间平衡偏差与方差。
• 提出一种新颖的估计器调优参数校准方案，可自适应地响应数据可用性的变化与实例间的相似性。
• 理论分析在特征维度d上建立了改进的样本复杂度界，数据稀缺实例中实现了指数级增益。

实验结果

研究问题

• RQ1 结合鲁棒统计与LASSO的多任务学习估计器，是否能在高维、异质的学习问题中实现优于标准估计器的样本复杂度？
• RQ2 在仅每个任务有有限标注数据的样本稀缺实例中，所提出的估计器表现如何？
• RQ3 将估计器集成至上下文Bandit框架后，与基线方法相比，其在遗憾界上的改进程度如何？
• RQ4 在真实世界应用中，该方法对超参数设定错误的鲁棒性如何？
• RQ5 当实例特定偏差的稀疏性与对齐程度变化时，性能如何变化？

主要发现

• 所提出的RMEstimator在数据稀缺实例中，于特征维度d上实现了指数级的样本复杂度改进，显著优于标准估计器。
• 在数据稀缺情形（n_i/n_j >> 1）下，RMEstimator的预测误差低于标准估计器，验证了推论4.8。
• RMBandit算法通过动态校准估计器以平衡偏差与方差，在上下文维度d上实现了改进的遗憾界。
• 该方法对超参数变化具有鲁棒性：在不同q0、ω0、ζ1,0与η1,0设置下，累积遗憾保持稳定，表明其实际可靠性。
• 仅当实例特定偏差变得不那么稀疏或对齐性差时性能才下降，但在最坏情形下，估计器仍保持具有竞争力的准确性。
• 实证结果表明，当偏差幅度中等或更大时，RMEstimator优于数据池化方法，且在近似稀疏性条件下仍具有效性。