[论文解读] Online Continuous DR-Submodular Maximization with Long-Term Budget Constraints

Omid Sadeghi, Maryam Fazel|arXiv (Cornell University)|Jun 30, 2019

Advanced Bandit Algorithms Research参考文献 23被引用 4

一句话总结

该论文提出了一种在线鞍点混合梯度（OSPHG）算法，用于在长期预算约束下进行在线连续DR-亚模最大化，其中目标函数为单调DR-亚模，预算函数为线性。当基准窗口大小 $W = o(T)$ 时，该算法建立了次线性遗憾和预算违规边界，克服了在 $W = T$ 时对抗性预算函数下次线性遗憾的不可能性。主要贡献是在 $W = o(T)$ 条件下实现了 $(1 - \frac{1}{e})$-近似遗憾边界，且总预算违规为次线性。

ABSTRACT

In this paper, we study a class of online optimization problems with long-term budget constraints where the objective functions are not necessarily concave (nor convex) but they instead satisfy the Diminishing Returns (DR) property. Specifically, a sequence of monotone DR-submodular objective functions $\{f_t(x)\}_{t=1}^T$ and monotone linear budget functions $\{\langle p_t,x angle \}_{t=1}^T$ arrive over time and assuming a total targeted budget $B_T$, the goal is to choose points $x_t$ at each time $t\in\{1,\dots,T\}$, without knowing $f_t$ and $p_t$ on that step, to achieve sub-linear regret bound while the total budget violation $\sum_{t=1}^T \langle p_t,x_t angle -B_T$ is sub-linear as well. Prior work has shown that achieving sub-linear regret is impossible if the budget functions are chosen adversarially. Therefore, we modify the notion of regret by comparing the agent against a $(1-\frac{1}{e})$-approximation to the best fixed decision in hindsight which satisfies the budget constraint proportionally over any window of length $W$. We propose the Online Saddle Point Hybrid Gradient (OSPHG) algorithm to solve this class of online problems. For $W=T$, we recover the aforementioned impossibility result. However, when $W=o(T)$, we show that it is possible to obtain sub-linear bounds for both the $(1-\frac{1}{e})$-regret and the total budget violation.

研究动机与目标

• 解决在对抗条件下具有单调DR-亚模目标函数和线性预算约束的在线优化问题。
• 克服在完整时间范围内的对抗性预算函数（$W = T$）下次线性遗憾的不可能性。
• 设计一种算法，通过与大小为 $W$ 的滑动窗口内满足预算约束的 $(1 - \frac{1}{e})$-近似固定决策进行比较，实现次线性遗憾和次线性预算违规。
• 形式化一种新的遗憾定义，使其在时变、对抗性预算函数下仍能提供可行的性能保证。

提出的方法

• 提出在线鞍点混合梯度（OSPHG）算法，结合在线鞍点方法与DR-亚模函数的混合梯度更新。
• 使用大小为 $W$ 的滑动窗口，将代理的性能与在任意长度为 $W$ 的窗口内按比例满足预算约束的固定决策进行比较。
• 采用拉格朗日松弛框架，通过双变量 $\lambda_t$ 处理预算约束，其中对偶更新基于拉格朗日函数的梯度上升。
• 引入一种混合梯度方案，交替进行原始和对偶更新，通过遗憾和约束残差边界分析其收敛性。
• 利用望远镜求和技巧推导遗憾和预算违规边界，并通过强凸性和光滑性性质界定各项。
• 提出一种新颖的遗憾分解方法，将 $(1 - \frac{1}{e})$-遗憾与预算违规分离，从而在 $W = o(T)$ 条件下实现次线性边界。

实验结果

研究问题

• RQ1 当预算函数在完整时间范围（$W = T$）内为对抗性时，是否可以在在线连续DR-亚模最大化中实现次线性遗憾？
• RQ2 在对抗性预算函数下，是否可能在保持次线性遗憾的同时实现次线性总预算违规？
• RQ3 当与在大小为 $W$ 的滑动窗口内按比例满足预算约束的固定决策进行比较时，可实现何种性能保证？
• RQ4 窗口大小 $W$ 的选择如何影响在线DR-亚模优化中遗憾与预算违规之间的权衡？
• RQ5 当 $W = o(T)$ 时，是否可以实现 $(1 - \frac{1}{e})$-近似遗憾边界，且总预算违规为次线性？

主要发现

• 当窗口大小 $W = o(T)$ 时，可实现次线性遗憾和次线性总预算违规，克服了在 $W = T$ 时的不可能性结果。
• 所提出的OSPHG算法在 $W = o(T)$ 条件下实现了 $(1 - \frac{1}{e})$-遗憾边界，且总预算违规为次线性，为在线DR-亚模优化建立了新的性能保证。
• 通过新颖的拉格朗日函数分解和望远镜求和技术，推导出遗憾和约束残差边界，明确依赖于 $W$、$T$ 和光滑性参数。
• 分析表明，当 $WT \geq 16R^2$ 时，可从最终边界中去除项 $\sum_{t=1}^{T} \lambda_t^2$，从而简化最终的遗憾表达式。
• 关键技术洞见在于，基于窗口的基准允许边界效应相互抵消，从而在对抗性预算函数下仍能实现次线性性能。
• 当 $W = o(T)$ 时，通过适当的参数调节，算法可实现 $\mathcal{O}(W)$ 的遗憾和 $\mathcal{O}(WT)$ 的预算违规，两者在 $T$ 上均为次线性。