[论文解读] Stochastic Linear Optimization with Adversarial Corruption
该论文提出了一种新颖的算法，用于在对抗性污染下进行随机线性优化，采用基于轮次的探索策略，结合 Löwner-John 椭球体与自适应污染感知估计。其遗憾界为 $ O\left(\frac{d^{5/2}C\log T}{\Delta} + \frac{d^6\log(\frac{d\log T}{\delta})\log T}{\Delta^2}\right) $，该界随污染总量 $ C $ 线性增长，且通过多项式时间椭球计算实现计算高效。
We extend the model of stochastic bandits with adversarial corruption (Lykouriset al., 2018) to the stochastic linear optimization problem (Dani et al., 2008). Our algorithm is agnostic to the amount of corruption chosen by the adaptive adversary. The regret of the algorithm only increases linearly in the amount of corruption. Our algorithm involves using Löwner-John's ellipsoid for exploration and dividing time horizon into epochs with exponentially increasing size to limit the influence of corruption.
研究动机与目标
- 解决将对抗性污染纳入随机线性优化的开放问题，扩展先前关于带污染的随机带 bandit 的工作。
- 设计一种即使在对手自适应污染奖励且对污染水平无先验知识的情况下仍保持有效的算法。
- 实现遗憾界随总污染量 $ C $ 线性增长，同时在无污染时保持问题相关的最优性。
- 通过利用 Löwner-John 椭球体的多项式时间算法，确保计算效率。
提出的方法
- 将时间范围划分为指数增长的轮次，以限制早期污染对后续决策的影响。
- 使用 Löwner-John 椭球体进行探索，以在高维空间中保持对最优方向的良好条件估计。
- 采用两阶段策略：利用前一周期的估计进行利用，通过独立坐标估计进行探索，以避免相关性引起的估计偏差。
- 应用集中不等式对污染下的估计误差进行界约束，使用同时考虑噪声与对抗性扰动的污染感知置信区间。
- 提出一种新颖的遗憾分解，将利用与探索部分分别界定，使用各轮次特定的参数。
- 使用多项式时间算法计算弱 Löwner-John 椭球体，以确保计算效率，满足 $ E \subseteq D \subseteq 2d^{3/2}E $。
实验结果
研究问题
- RQ1能否使随机线性优化在对抗性污染下保持鲁棒，同时维持问题相关的遗憾界？
- RQ2在污染水平未知的线性优化设置中，遗憾如何随污染量增加而变化？
- RQ3在随机线性带 bandit 模型中，对抗性污染引入的最小额外遗憾开销是多少？
- RQ4能否设计一种计算高效的算法，在对抗性污染下仍保持低遗憾？
- RQ5是否可能以一种方式分离探索与利用，从而限制污染对估计的影响？
主要发现
- 该算法在概率 $ 1 - \delta $ 下实现遗憾界 $ O\left(\frac{d^{5/2}C\log T}{\Delta} + \frac{d^6\log(\frac{d\log T}{\delta})\log T}{\Delta^2}\right) $，且随总污染量 $ C $ 线性增长。
- 与无污染时的最优遗憾界相比，污染导致的遗憾损失仅为 $ \log T $ 的乘法因子，表明在污染鲁棒设置下具有近似最优性。
- 通过基于轮次的估计，即使在污染下，算法仍保持对时间的 $ O(\log T) $ 依赖，从而减弱了早期污染的影响。
- 由于使用了多项式时间 Löwner-John 椭球体计算，计算成本在维度 $ d $ 和 $ \log T $ 上为多项式。
- 该算法对污染量不敏感，无需事先知道 $ C $，但仍能实现优异性能。
- 遗憾分解表明，利用遗憾随 $ C $ 线性增长，而探索遗憾随 $ \frac{1}{\Delta^2} $ 增长，反映出在污染下分离探索与利用的挑战。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。