[论文解读] Online Learning and Decision-Making under Generalized Linear Model with High-Dimensional Data

Xue Wang, Mike Mingcheng Wei+1 more|arXiv (Cornell University)|Dec 7, 2018

Advanced Bandit Algorithms Research参考文献 31被引用 3

一句话总结

该论文提出G-MCP-Bandit算法，一种用于高维广义线性模型下在线决策的极小化最大凹惩罚多臂赌博机方法。其在时间维度上实现最优$O(\log T)$的遗憾，在协变量维度上实现$O(\log d)$的遗憾，通过两步加权Lasso过程实现非独立同分布、稀疏数据下的精确估计，在合成数据集和真实世界数据集（如华法林剂量调整和搜索广告）中优于基线方法。

ABSTRACT

We propose a minimax concave penalized multi-armed bandit algorithm under generalized linear model (G-MCP-Bandit) for a decision-maker facing high-dimensional data in an online learning and decision-making process. We demonstrate that the G-MCP-Bandit algorithm asymptotically achieves the optimal cumulative regret in the sample size dimension T , O(log T), and further attains a tight bound in the covariate dimension d, O(log d). In addition, we develop a linear approximation method, the 2-step weighted Lasso procedure, to identify the MCP estimator for the G-MCP-Bandit algorithm under non-iid samples. Under this procedure, the MCP estimator matches the oracle estimator with high probability and converges to the true parameters with the optimal convergence rate. Finally, through experiments based on synthetic data and two real datasets (warfarin dosing dataset and Tencent search advertising dataset), we show that the G-MCP-Bandit algorithm outperforms other benchmark algorithms, especially when there is a high level of data sparsity or the decision set is large.

研究动机与目标

• 解决在个性化医疗和精准广告等实际应用中，高维稀疏数据下的在线学习与决策挑战。
• 开发一种赌博机算法，在广义线性模型下实现时间$T$和协变量维度$d$的最优遗憾缩放。
• 通过新颖的两步加权Lasso过程，在有限且非独立同分布样本的高维设定下实现精确参数估计。
• 确保算法能有效适应数据稀疏性和大规模决策集，优于现有基线方法。

提出的方法

• 提出G-MCP-Bandit算法，将极小化最大凹惩罚（MCP）与多臂赌博机框架结合，用于高维广义线性模型。
• 采用两步加权Lasso过程，在非独立同分布抽样下估计MCP估计器，确保以高概率保持一致性。
• 推导理论边界，表明在适当的正则化条件下，MCP估计器可匹配Oracle估计器。
• 建立累积遗憾的渐近最优性，实现时间维度上的$O(\log T)$和协变量维度上的$O(\log d)$。
• 利用浓度不等式和矩阵范数界控制高维参数空间中的估计误差和梯度条件。
• 应用基于事件的分析和高概率边界，确保在稀疏条件下以高概率恢复Oracle估计器。

实验结果

研究问题

• RQ1 赌博机算法是否能在广义线性模型下实现高维在线学习中的最优$O(\log T)$遗憾？
• RQ2 在高维设定下，如何在非独立同分布和稀疏抽样条件下实现精确参数估计？
• RQ3 所提出的两步加权Lasso过程是否能以高概率产生匹配Oracle估计器的MCP估计器？
• RQ4 在数据稀疏或决策集较大的场景下，G-MCP-Bandit算法相较于基线方法表现如何？
• RQ5 所提出方法下的估计器收敛速率是多少？是否达到最优速率？

主要发现

• G-MCP-Bandit算法在时间范围$T$内实现了渐近最优的累积遗憾$O(\log T)$。
• 该算法在协变量维度$d$上实现了紧致的遗憾边界$O(\log d)$，表明其可扩展至高维特征。
• 两步加权Lasso过程确保在非独立同分布抽样下，MCP估计器以高概率匹配Oracle估计器。
• 估计器以最优速率收敛至真实参数，理论边界验证了估计误差。
• 实验结果表明，G-MCP-Bandit在数据稀疏性和大规模决策集场景下优于基线算法。
• 理论分析确认，梯度条件$\|\nabla_{\mathcal{S}^c}\mathcal{L}(\bm{\beta}^{oracle})\|_\infty \leq \left(1 - \frac{96ns}{|\mathcal{A}|\kappa a}\right)\lambda$以高概率成立，确保模型选择的一致性。