[论文解读] Submodular Optimization with Submodular Cover and Submodular Knapsack Constraints

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|Nov 8, 2013

Complexity and Algorithms in Graphs参考文献 40被引用 167

一句话总结

该论文提出了一种新颖的框架，用于求解两类受约束的子模优化问题：在子模覆盖约束下最小化子模函数（SCSC）和在子模背包约束下最大化子模函数（SCSK）。该研究引入了可扩展的迭代算法（如 Gr、ISSC、ISK）以及更精确的近似算法（如 EASSC、EASK），实现了有界的近似保证，并在真实世界数据集上展示了强大的经验性能，涵盖传感器部署和数据子集选择等应用。

ABSTRACT

We investigate two new optimization problems -- minimizing a submodular function subject to a submodular lower bound constraint (submodular cover) and maximizing a submodular function subject to a submodular upper bound constraint (submodular knapsack). We are motivated by a number of real-world applications in machine learning including sensor placement and data subset selection, which require maximizing a certain submodular function (like coverage or diversity) while simultaneously minimizing another (like cooperative cost). These problems are often posed as minimizing the difference between submodular functions [14, 35] which is in the worst case inapproximable. We show, however, that by phrasing these problems as constrained optimization, which is more natural for many applications, we achieve a number of bounded approximation guarantees. We also show that both these problems are closely related and an approximation algorithm solving one can be used to obtain an approximation guarantee for the other. We provide hardness results for both problems thus showing that our approximation factors are tight up to log-factors. Finally, we empirically demonstrate the performance and good scalability properties of our algorithms.

研究动机与目标

• 解决在硬约束下优化子模函数的挑战，例如在确保覆盖的前提下最小化成本，或在预算限制下最大化效用。
• 克服先前方法将此类问题建模为子模函数之差（DS 优化）所导致的最坏情况下不可逼近的局限性。
• 提供一个统一的、基于约束的框架，使子模覆盖和子模背包问题均能获得有界的近似保证。
• 展示迭代算法（如 Gr、ISSC、ISK）在实际中的可扩展性和有效性，相较于更复杂但理论更紧的算法（如 EASSC、EASK）具有优势。
• 建立理论上的困难性结果，表明所提出的近似因子在对数因子范围内是紧致的。

提出的方法

• 提出两个新的优化问题：SCSC（在 g(X) ≥ c 约束下最小化 f(X)）和 SCSK（在 f(X) ≤ b 约束下最大化 g(X)），其中 f 和 g 为单调非减的子模函数。
• 引入基于贪心策略的迭代算法（如 Gr、ISSC、ISK），通过在各自约束下选择边际增益最高的元素，逐步构建解。
• 提出更复杂的近似算法（如 EASSC、EASK），基于椭球近似和代理函数，以获得更紧的理论界。
• 利用 SCSC 与 SCSK 之间的对偶性，证明一个问题的近似算法可被调整以提供对另一个问题的保证。
• 通过曲率分析和代理函数构造推导近似比，在单调性和归一化假设下证明理论保证。
• 在真实世界实例（如传感器部署、数据子集选择）上实现并评估算法，与随机选择和基线方法进行性能比较。

实验结果

研究问题

• RQ1 尽管标准的子模函数之差（DS）形式在最坏情况下不可逼近，我们能否为具有子模覆盖和子模背包约束的子模优化问题实现有界的近似保证？
• RQ2 在实际中，迭代贪心算法（如 Gr、ISSC、ISK）与更复杂的近似算法（如 EASSC、EASK）在解质量与运行时间方面有何对比？
• RQ3 所提出的算法在大规模实例上的可扩展性如何，特别是与精确解法或分支定界方法相比？
• RQ4 能否利用 SCSC 与 SCSK 之间的对偶性，通过为其中一个问题设计的算法为另一个问题提供近似保证？
• RQ5 在真实世界机器学习应用（如传感器部署和自然语言处理与语音识别中的有限词汇量数据子集选择）中，所提算法的实证性能如何？

主要发现

• 尽管理论界较松，所提出的迭代算法（如 Gr、ISSC、ISK）在实践中获得的解质量与更复杂的 EASSC 和 EASK 算法相当。
• 在 |V| = 50 的真实世界实例上，迭代算法运行时间不足 1 秒，而椭球近似算法（EASSC）耗时约 5 小时，凸显了显著的可扩展性优势。
• 所有提出的算法在测试数据集上的解质量与约束满足度方面均显著优于随机选择基线。
• 理论分析表明，SCSC 与 SCSK 的近似因子在对数因子范围内是紧致的，证实了在标准假设下边界的最优性。
• 该框架成功涵盖并推广了先前问题（如子模生成与具有模约束的子模背包问题），同时提供了更强的理论保证。
• 实证结果证实，这些算法在真实世界应用中有效，包括传感器部署以及自然语言处理与语音识别中的有限词汇量数据子集选择。