[论文解读] Optimal Algorithms for Continuous Non-monotone Submodular and DR-Submodular Maximization

Rad Niazadeh, Tim Roughgarden+1 more|arXiv (Cornell University)|May 24, 2018

Complexity and Algorithms in Graphs参考文献 7被引用 23

一句话总结

本文提出了首个针对超立方体上连续非单调子模最大化问题的最优1/2-近似算法，通过每坐标上的新颖零和博弈公式化实现。对于DR-子模函数，该文提出一种基于坐标凹性的准线性时间1/2-近似算法，利用二分查找定位单调均衡条件，相较于先前工作在近似保证和效率方面均有提升。

ABSTRACT

In this paper we study the fundamental problems of maximizing a continuous non-monotone submodular function over the hypercube, both with and without coordinate-wise concavity. This family of optimization problems has several applications in machine learning, economics, and communication systems. Our main result is the first $\frac{1}{2}$-approximation algorithm for continuous submodular function maximization; this approximation factor of $\frac{1}{2}$ is the best possible for algorithms that only query the objective function at polynomially many points. For the special case of DR-submodular maximization, i.e. when the submodular functions is also coordinate wise concave along all coordinates, we provide a different $\frac{1}{2}$-approximation algorithm that runs in quasilinear time. Both of these results improve upon prior work [Bian et al, 2017, Soma and Yoshida, 2017]. Our first algorithm uses novel ideas such as reducing the guaranteed approximation problem to analyzing a zero-sum game for each coordinate, and incorporates the geometry of this zero-sum game to fix the value at this coordinate. Our second algorithm exploits coordinate-wise concavity to identify a monotone equilibrium condition sufficient for getting the required approximation guarantee, and hunts for the equilibrium point using binary search. We further run experiments to verify the performance of our proposed algorithms in related machine learning applications.

研究动机与目标

• 开发首个针对超立方体上连续非单调子模最大化的最优1/2-近似算法。
• 设计一种基于坐标凹性的准线性时间1/2-近似算法，用于DR-子模最大化。
• 在近似比和运行时间效率方面，改进连续子模优化的现有工作。
• 在真实世界机器学习应用（如非凹二次规划和DPP推理）中验证算法性能。

提出的方法

• 将近似保证简化为对每个坐标的零和博弈分析，利用博弈几何特性确定最优值。
• 采用双贪心框架结合坐标优化，通过数值计算引入导数和凹包络。
• 对于DR-子模函数，识别出足以保证1/2-近似的单调均衡条件，并利用二分查找高效定位该条件。
• 采用黑箱预言机模型，具有多项式查询复杂度，确保可扩展性和理论保证。
• 提出一种新颖的分析技术，结合子模性、坐标凹性和积分界，以证明近似比。
• 通过数值导数和一维优化器实现算法，基于合成数据和真实数据进行验证。

实验结果

研究问题

• RQ1 是否仅通过多项式数量的函数查询，即可实现对连续非单调子模最大化的1/2-近似算法？
• RQ2 能否利用坐标凹性，实现DR-子模最大化的准线性时间1/2-近似？
• RQ3 在真实机器学习任务中，所提算法与现有基线方法（如Bi-Greedy）相比表现如何？
• RQ4 在多项式查询复杂度下，连续子模最大化的理论近似极限是什么？
• RQ5 所提技术能否推广至任意可分凸集上的优化问题？

主要发现

• 所提算法在连续非单调子模最大化的近似比上达到1/2，且在多项式查询复杂度下为最优。
• 对于DR-子模函数，该算法在保持1/2-近似保证的同时，实现准线性时间复杂度。
• 在非凹二次规划和DPP MAP推理实验中，GAME、BINARY和BMBK算法的客观值几乎相同，20次试验中平均偏差小于1。
• 在弱DR-NQP实验中，四分位距约为10，而三种算法的平均值差异小于1。
• 理论分析证明，具有多项式查询访问能力的算法，其1/2-近似为紧致上界，确认了最优性。
• 通过零和博弈分析与单调均衡检测，实现了可证明的近似保证，且无需强凸性或光滑性假设。