[论文解读] Non-monotone DR-Submodular Function Maximization

Tasuku Soma, Yuichi Yoshida|arXiv (Cornell University)|Dec 3, 2016

Rough Sets and Fuzzy Logic被引用 7

一句话总结

该论文提出了一种新颖的多项式时间算法，用于最大化非单调 DR-子模函数，实现了 $\frac{1}{2+\epsilon}$-近似率，运行时间为 $O(\frac{n}{\epsilon} \log^2 B)$，其中 $n$ 为基集大小，$B$ 为坐标值的最大值。与朴素贪心方法相比，该方法显著降低了对 $B$ 的依赖，使运行时间快几个数量级，同时在真实世界和合成数据集上保持了接近最优的解质量。

ABSTRACT

We consider non-monotone DR-submodular function maximization, where DR-submodularity (diminishing return submodularity) is an extension of submodularity for functions over the integer lattice based on the concept of the diminishing return property. Maximizing non-monotone DR-submodular functions has many applications in machine learning that cannot be captured by submodular set functions. In this paper, we present a $\frac{1}{2+ε}$-approximation algorithm with a running time of roughly $O(\frac{n}ε\log^2 B)$, where $n$ is the size of the ground set, $B$ is the maximum value of a coordinate, and $ε> 0$ is a parameter. The approximation ratio is almost tight and the dependency of running time on $B$ is exponentially smaller than the naive greedy algorithm. Experiments on synthetic and real-world datasets demonstrate that our algorithm outputs almost the best solution compared to other baseline algorithms, whereas its running time is several orders of magnitude faster.

研究动机与目标

• 为解决在机器学习应用（如预算分配和收益最大化）中出现的非单调 DR-子模函数最大化挑战，这些应用无法被标准子模集合函数捕捉。
• 设计一种在盒约束下具有可证明近似保证的非单调 DR-子模最大化多项式时间算法。
• 与依赖于 $B$ 的朴素贪心方法（其运行时间随 $B$ 线性增长）相比，减少运行时间对 $B$（任一坐标值的最大值）的依赖。
• 在真实世界网络上评估该算法的性能，特别是在社交网络中通过口碑效应实现收益最大化的任务。

提出的方法

• 该算法采用改进的贪心方法，结合自适应步长和阈值机制，以高效探索解空间，而无需进行完全评估。
• 它维护一个候选解，并通过选择边际增益最高的元素，迭代地改进该解，使用随时间动态减小的阈值以确保近似保证。
• 该方法利用递减回报性质（DR-子模性）来界定近似比，确保解收敛至最优解的 $\frac{1}{2+\epsilon}$ 以内。
• 它采用预言机模型，通过评估查询访问函数值，且总查询次数被限制在 $O(\frac{n}{\epsilon} \log^2 B)$ 以内。
• 该算法被设计为对 $B$ 的大取值具有鲁棒性，通过仔细剪枝和基于边际增益阈值的早期停止策略，实现在 $B$ 上的次线性依赖。
• 一个关键组件是快速贪心变体 Fast-DG，它在大幅减少预言机调用次数的同时，保持了较高的解质量，尤其在 $B$ 较大时表现显著。

实验结果

研究问题

• RQ1 我们能否在多项式时间内实现对非单调 DR-子模函数最大化的常数因子近似？
• RQ2 与标准贪心算法相比，如何减少运行时间对最大坐标值 $B$ 的依赖？
• RQ3 所提出的算法在真实世界数据集上是否保持了高解质量，特别是在 $B$ 较大时的收益最大化任务中？
• RQ4 DR-子模性是否为实现多项式时间常数近似所必需，还是更弱的概念（如格子子模性）已足够？

主要发现

• 所提出的 Fast-DG 算法对非单调 DR-子模最大化实现了 $\frac{1}{2+\epsilon}$-近似率，其近似比几乎达到紧致。
• 运行时间呈 $O(\frac{n}{\epsilon} \log^2 B)$ 的增长，相较于朴素贪心算法对 $B$ 的 $O(nB)$ 依赖，实现了指数级改进。
• 在青少年健康、Advogato 和 Twitter 列表网络上，Fast-DG 在 $\epsilon = 0.5$ 或 $\epsilon = 0.05$ 时取得的客观值几乎与最佳基线方法（SG 和 DG）相同。
• 尽管解质量相近，当 $B$ 较大时，Fast-DG 的预言机调用次数比 SG 和 DG 少了两到三个数量级，尤其在 $B=10^6$ 时表现显著。
• Lattice-DG 基线表现显著更差，尤其在 $B$ 较大时，凸显了 DR-子模性在实现高效近似中的重要性。
• 该算法在不同网络类型和 $B$ 值下均表现出鲁棒性能，展示了其在大规模应用中的实际可扩展性。