[论文解读] Online Continuous Submodular Maximization

Lin Chen, Hamed Hassani+1 more|arXiv (Cornell University)|Feb 16, 2018

Advanced Bandit Algorithms Research参考文献 32被引用 30

一句话总结

该论文提出了两种在线优化算法——Meta-Frank-Wolfe 和在线梯度上升，用于在非凸、非凹目标函数下的连续子模最大化。在精确梯度和随机梯度设置下，分别建立了相对于 (1−1/e)-近似和 1/2-近似离线解的 O(√T) 册悔界，且推广至 γ-弱子模函数时，可获得 γ²/(γ²+1) 的近似保证。

ABSTRACT

In this paper, we consider an online optimization process, where the objective functions are not convex (nor concave) but instead belong to a broad class of continuous submodular functions. We first propose a variant of the Frank-Wolfe algorithm that has access to the full gradient of the objective functions. We show that it achieves a regret bound of $O(\sqrt{T})$ (where $T$ is the horizon of the online optimization problem) against a $(1-1/e)$-approximation to the best feasible solution in hindsight. However, in many scenarios, only an unbiased estimate of the gradients are available. For such settings, we then propose an online stochastic gradient ascent algorithm that also achieves a regret bound of $O(\sqrt{T})$ regret, albeit against a weaker $1/2$-approximation to the best feasible solution in hindsight. We also generalize our results to $γ$-weakly submodular functions and prove the same sublinear regret bounds. Finally, we demonstrate the efficiency of our algorithms on a few problem instances, including non-convex/non-concave quadratic programs, multilinear extensions of submodular set functions, and D-optimal design.

研究动机与目标

• 解决目标函数为连续子模函数的在线非凸优化问题，该类函数是离散子模函数在连续域中的推广。
• 设计无册悔的在线算法，即使在非凸条件下，也能与事后最优的固定离线解相竞争。
• 为精确梯度和随机梯度设置提供理论保证，尤其在仅能获得无偏梯度估计的场景下。
• 将结果推广至 γ-弱 DR-子模函数，扩展至更广泛的非子模但近似子模的目标函数类。
• 在真实世界实例（如非凸二次规划、多重线性扩展和 D-最优设计问题）中展示算法的实际效率。

提出的方法

• 提出 Meta-Frank-Wolfe，作为 Frank-Wolfe 算法的变体，利用完整梯度信息，并通过投影到可行集执行子梯度步长以保持可行性。
• 在随机设置中引入在线梯度上升，仅需无偏梯度估计，通过投影到凸可行集确保约束满足。
• 使用投影算子 Π_P(x) = argmin_{v∈P} ||x−v||，在每一步将迭代点投影回可行凸体。
• 通过分析 DR-子模函数的收益递减性质，并结合光滑性和有界梯度假设，推导册悔界。
• 通过推导与 γ²/(γ²+1) 成比例的册悔界，将结果推广至 γ-弱 DR-子模函数，当 γ=1 时退化为 1/2。
• 使用子模集合函数的多重线性扩展和 D-最优设计作为具体实例，验证算法性能。

实验结果

研究问题

• RQ1 当目标函数为非凸且非凹时，能否使在线优化算法在连续子模最大化中实现次线性册悔？
• RQ2 在存在精确梯度与随机梯度信息的情况下，在线算法所能实现的最佳近似保证是什么？
• RQ3 在不同梯度可用性假设下，连续 DR-子模函数的册悔界如何随时间跨度 T 变化？
• RQ4 理论保证能否推广至 γ-弱 DR-子模函数？此时的近似因子是多少？
• RQ5 所提出的算法在真实世界非凸优化问题（如 D-最优设计和多重线性扩展）中的实际表现如何？

主要发现

• 当完整梯度可用时，Meta-Frank-Wolfe 在 O(√T) 册悔下实现了与事后最优固定离线解的 (1−1/e)-近似。
• 在随机梯度估计下，在线梯度上升在 O(√T) 册悔下实现了与事后最优固定离线解的 1/2-近似。
• 对于 γ-弱 DR-子模函数，在线梯度上升实现了 γ²/(γ²+1)-近似保证，且册悔为 O(√T)，当 γ=1 时退化为 1/2。
• 册悔界是紧的，因为 Ω(√T) 是在线优化的最坏情况下界，而所提算法恰好达到该界。
• 实验评估证实，两种算法在非凸二次规划、子模集合函数的多重线性扩展以及 D-最优设计问题中均表现出高效性。
• 研究表明，连续贪心方法在随机设置下不够鲁棒，从而支持使用投影随机梯度上升。