[论文解读] Multinomial Logit Bandit with Low Switching Cost

Kefan Dong, Yingkai Li+2 more|arXiv (Cornell University)|Jul 9, 2020

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文针对多项式对数随机逼近问题提出了 AT-DUCB 和 FH-DUCB 算法，以实现低切换成本，最小化组合切换次数的同时达到近似最优的遗憾值。研究建立了紧致的边界：AT-DUCB 的组合切换次数为 $O(N\log T)$，几乎匹配 $\Omega(N\log T / \log\log T)$ 的下界；FH-DUCB 在固定时域设置下实现 $O(N\log\log T)$ 次切换，与渐近下界一致。

ABSTRACT

We study multinomial logit bandit with limited adaptivity, where the algorithms change their exploration actions as infrequently as possible when achieving almost optimal minimax regret. We propose two measures of adaptivity: the assortment switching cost and the more fine-grained item switching cost. We present an anytime algorithm (AT-DUCB) with $O(N \log T)$ assortment switches, almost matching the lower bound $Ω(\frac{N \log T}{ \log \log T})$. In the fixed-horizon setting, our algorithm FH-DUCB incurs $O(N \log \log T)$ assortment switches, matching the asymptotic lower bound. We also present the ESUCB algorithm with item switching cost $O(N \log^2 T)$.

研究动机与目标

• 在多项式对数随机逼近问题中最小化组合与项目切换成本，同时保持近似最优的遗憾值。
• 解决频繁组合变更在零售和在线广告中成本较高的实际约束。
• 设计具有可证明低切换成本的任意时间与固定时域算法。
• 为任何实现近似最优遗憾值的算法建立组合切换成本的理论下界。
• 通过两种度量（组合切换与项目切换成本）分析遗憾值与切换成本之间的权衡。

提出的方法

• 提出 AT-DUCB，一种任意时间算法，采用基于 UCB 的探索策略与延迟更新机制，将组合切换次数减少至 $O(N\log T)$。
• 引入 FH-DUCB 用于固定时域设置，通过利用时域知识，实现 $O(N\log\log T)$ 次组合切换。
• 设计 ESUCB，其项目切换成本为 $O(N\log^2 T)$，后通过避免在 Check 子程序中重新初始化计数器，修改为实现 $O(N\log T)$ 的项目切换次数。
• 在 UCB 计算中采用延迟更新机制，以限制值更新次数，从而减少切换事件。
• 使用集中不等式与高概率事件分析，在不确定性条件下界定遗憾值与切换成本。
• 采用对称差分算子 $|S_t \oplus S_{t+1}|$ 定义项目切换成本，实现对变更的细粒度控制。

实验结果

研究问题

• RQ1 在 MNL 随机逼近设置中，任何实现近似最优遗憾值的算法所需的最小组合切换次数是多少？
• RQ2 是否可以设计一种任意时间算法，在不预先知晓时域长度的情况下，同时实现低遗憾值与低组合切换成本？
• RQ3 在理论边界与算法设计方面，项目切换成本与组合切换成本相比如何？
• RQ4 固定时域设置是否能提供比任意时间设置更紧致的切换成本边界？
• RQ5 对现有基于 UCB 的算法进行哪些修改，可降低项目切换成本，同时保持遗憾值保证？

主要发现

• AT-DUCB 在保持近似最优遗憾值的同时，实现 $O(N\log T)$ 次组合切换，几乎匹配下界 $\Omega(N\log T / \log\log T)$。
• FH-DUCB 在固定时域设置下实现 $O(N\log\log T)$ 次组合切换，与渐近下界一致。
• 经修改的 ESUCB 算法通过避免在 Check 子程序中重新初始化计数器，将项目切换成本从 $O(N\log^2 T)$ 降低至 $O(N\log T)$。
• 证明了任何实现近似最优遗憾值的任意时间算法，其组合切换成本下界为 $\Omega(N\log T / \log\log T)$。
• 项目切换成本始终不低于组合切换成本，且最多大出 $\min\{2K,N\}$ 倍，确立了两者之间的紧密关系。