[论文解读] Weakly Submodular Maximization Beyond Cardinality Constraints: Does Randomization Help Greedy?

Lin Chen, Moran Feldman+1 more|arXiv (Cornell University)|Jul 13, 2017

Complexity and Algorithms in Graphs被引用 18

一句话总结

本文提出了一种随机化贪心算法——残差随机贪心（Residual Random Greedy），该算法在一般拟物 constraint 下对 $\gamma$-弱子模函数的最大化问题中实现了 $(1+1/\gamma)^{-2}$ 的近似比——这是该类问题在基数约束之外首次获得的非平凡理论保证。实验结果表明，该方法在实际应用中优于标准贪心算法，如图像解释和视频摘要任务。

ABSTRACT

Submodular functions are a broad class of set functions, which naturally arise in diverse areas. Many algorithms have been suggested for the maximization of these functions. Unfortunately, once the function deviates from submodularity, the known algorithms may perform arbitrarily poorly. Amending this issue, by obtaining approximation results for set functions generalizing submodular functions, has been the focus of recent works. One such class, known as weakly submodular functions, has received a lot of attention. A key result proved by Das and Kempe (2011) showed that the approximation ratio of the greedy algorithm for weakly submodular maximization subject to a cardinality constraint degrades smoothly with the distance from submodularity. However, no results have been obtained for maximization subject to constraints beyond cardinality. In particular, it is not known whether the greedy algorithm achieves any non-trivial approximation ratio for such constraints. In this paper, we prove that a randomized version of the greedy algorithm (previously used by Buchbinder et al. (2014) for a different problem) achieves an approximation ratio of $(1 + 1/\\gamma)^{-2}$ for the maximization of a weakly submodular function subject to a general matroid constraint, where $\\gamma$ is a parameter measuring the distance of the function from submodularity. Moreover, we also experimentally compare the performance of this version of the greedy algorithm on real world problems against natural benchmarks, and show that the algorithm we study performs well also in practice. To the best of our knowledge, this is the first algorithm with a non-trivial approximation guarantee for maximizing a weakly submodular function subject to a constraint other than the simple cardinality constraint. In particular, it is the first algorithm with such a guarantee for the important and broad class of matroid constraints.

研究动机与目标

• 解决在基数约束之外的约束下，对弱子模函数最大化问题缺乏理论保证的问题。
• 将基于贪心的算法适用范围扩展至一般拟物 constraint，这是组合优化中一类广泛且重要的约束类别。
• 证明随机化可提升贪心算法在弱子模设置下的理论与实际性能。
• 为广泛使用的、可推广子模函数的函数类提供可证明的近似保证，尤其在机器学习与数据挖掘中具有重要意义。
• 弥合贪心算法在非子模设置下的理论性能与实际行为之间的差距。

提出的方法

• 将原本专为子模函数最大化设计的残差随机贪心算法，适配至在拟物 constraint 下的弱子模函数最大化问题。
• 采用一种随机选择机制，优先选择相对于残差函数具有高边际增益的元素，从而增强对非子模性的鲁棒性。
• 提出一种新颖的分析框架，以 $\gamma$（衡量函数偏离子模性的参数）为基准，界定近似比的上界。
• 证明近似比为 $(1+1/\gamma)^{-2}$，该比值随 $\gamma$ 增大而平滑下降（即函数越不子模，性能越差）。
• 利用拟物结构确保每一步的解都满足可行性，同时保持理论保证。
• 在真实世界问题（如基因剪接位点检测与视频摘要）上对方法进行实证验证，与标准贪心和随机选择方法进行对比。

实验结果

研究问题

• RQ1 随机化贪心算法能否在一般拟物 constraint 下，对 $\gamma$-弱子模函数的最大化问题实现非平凡的近似比？
• RQ2 在基数约束之外的场景中，随机化是否能提升贪心算法在弱子模最大化问题中的理论性能？
• RQ3 在涉及弱子模目标函数的实际应用中，残差随机贪心算法与标准贪心及随机选择相比表现如何？
• RQ4 在复杂约束（如拟物）下，贪心风格算法在弱子模设置中是否存在可证明的近似保证？
• RQ5 该理论分析能否扩展至非单调弱子模函数在拟物 constraint 下的情形？

主要发现

• 残差随机贪心算法在一般拟物 constraint 下对 $\gamma$-弱子模函数的最大化问题中，实现了 $(1+1/\gamma)^{-2}$ 的近似比。
• 这是在基数约束之外的约束下，首次为弱子模函数最大化问题提供非平凡近似保证。
• 在基因剪接位点检测与视频摘要任务中，残差随机贪心算法在识别相关特征方面优于标准贪心和随机选择。
• 在图像解释任务中，该算法成功识别出伯尔尼牧羊犬的头部区域，而标准贪心仅选择了鼻子并引入了无关部分。
• 在残差随机贪心算法下，随着所选超像素数量的增加，正确标签预测的概率稳步提升，优于标准贪心和随机选择。
• 随机选择的最大概率仅为 $4.39 \times 10^{-4}$，表明其性能可忽略不计，而残差随机贪心维持了显著更高且持续增长的概率。