[论文解读] Neural Contextual Bandits with UCB-based Exploration
NeuralUCB 使用一个深度神经网络，结合神经切线核启发的随机特征来构建一个 UCB，并在带有随机奖励且不需要强奖励假设的带上下文赌博问题中实现近似最优的遗憾界限。
We study the stochastic contextual bandit problem, where the reward is generated from an unknown function with additive noise. No assumption is made about the reward function other than boundedness. We propose a new algorithm, NeuralUCB, which leverages the representation power of deep neural networks and uses a neural network-based random feature mapping to construct an upper confidence bound (UCB) of reward for efficient exploration. We prove that, under standard assumptions, NeuralUCB achieves $ ilde O(\sqrt{T})$ regret, where $T$ is the number of rounds. To the best of our knowledge, it is the first neural network-based contextual bandit algorithm with a near-optimal regret guarantee. We also show the algorithm is empirically competitive against representative baselines in a number of benchmarks.
研究动机与目标
- 阐明在带上下文的赌博问题中，超越线性假设、需要非线性、无模型的奖励学习的动机。
- 介绍 NeuralUCB，它利用深度网络和神经切线随机特征来为探索构建一个 UCB。
- 给出遗憾保证，展示在有效神经切线核维度方面的近似最优性能。
- 展示 NeuralUCB 在合成和真实数据集上相对于代表性基线的实验竞争力。
提出的方法
- 使用一个全连接的神经网络来学习未知的奖励函数，输出有界。
- 使用 f(x_{t,a}; θ_{t-1}) 以及涉及梯度 g(x_{t,a}; θ_{t-1}) 与矩阵 Z_{t-1} 的项，为每个动作构造一个上置信界 U_{t,a}。
- 通过在观测数据上近似最小化带正则化的最小二乘目标来更新网络参数 θ_t（TrainNN）。
- 定义并利用基于 NTK 的有效维度 d~，推导出以 d~ 而非参数数量 p 为尺度的遗憾界限。
- 在标准假设下，证明遗憾界限为 ~O( d~ sqrt(T))，作为特例恢复线性带上下文赌博的保证。
- 在合成和真实数据集上与基线进行经验比较，以验证实际性能。
实验结果
研究问题
- RQ1一个基于神经网络的带上下文的赌博问题，利用 UCB 探索，在没有强奖励模型假设的情况下，是否也能实现接近最优的遗憾？
- RQ2神经切线核的有效维度如何影响遗憾，以及它与线性和基于核的方法相比如何？
- RQ3NeuralUCB 在合成与真实世界的带上下文赌博基准中，是否与既有基线具有竞争力？
- RQ4神经网络训练中的优化误差对总体遗憾界限有何影响，以及如何控制？
主要发现
- NeuralUCB 的遗憾界限为 ~O( d~ sqrt(T))，其中 d~ 是有效的 NTK 维度，与非线性奖励的近似最优速率相匹配。
- 当奖励与上下文呈线性关系时，遗憾界限恢复为 ~O(d sqrt(T)) 线性带上下文赌博的速率。
- 经验结果表明 NeuralUCB 在合成基准和真实世界数据集上与具有代表性的基线具有竞争力。
- 附录中的变体 NeuralUCB_0 与 kernel/UCB 对齐并显示可比的遗憾，尽管由于更丰富的表示，NeuralUCB 在实践中往往表现更好。
- 该分析依赖于神经网络优化与泛化结果，包括基于 NTK 的 Gram 矩阵和基于梯度的特征映射。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。