[论文解读] Near Optimal Algorithms for Hard Submodular Programs with Discounted Cooperative Costs

Rishabh Iyer, Jeffrey A. Bilmes|arXiv (Cornell University)|Feb 26, 2019

Complexity and Algorithms in Graphs被引用 3

一句话总结

本文通过将成本函数限制为凹-模函数的低秩和，提出了针对困难子模优化问题（如约束子模最小化、子模覆盖和比值最小化）的近似最优算法。该方法在一般子模函数仅能提供 Ω(√n) 硬度的情况下，实现了常数因子近似保证，从而为实际机器学习应用（如具有折扣成本的协同图像匹配和传感器部署）提供了强有力的理论保障。

ABSTRACT

In this paper, we investigate a class of submodular problems which in general are very hard. These include minimizing a submodular cost function under combinatorial constraints, which include cuts, matchings, paths, etc., optimizing a submodular function under submodular cover and submodular knapsack constraints, and minimizing a ratio of submodular functions. All these problems appear in several real world problems but have hardness factors of $Ω(\sqrt{n})$ for general submodular cost functions. We show how we can achieve constant approximation factors when we restrict the cost functions to low rank sums of concave over modular functions. A wide variety of machine learning applications are very naturally modeled via this subclass of submodular functions. Our work therefore provides a tighter connection between theory and practice by enabling theoretically satisfying guarantees for a rich class of expressible, natural, and useful submodular cost models. We empirically demonstrate the utility of our models on real world problems of cooperative image matching and sensor placement with cooperative costs.

研究动机与目标

• 为解决在一般子模成本函数下，约束子模最小化和双目标优化问题固有的困难性，这些问题是 Ω(√n) 最坏情况近似因子的根源。
• 识别出一个易于处理但表达能力强的子模函数子类——凹-模函数的低秩和，该子类能自然地建模机器学习中的现实协同成本。
• 通过为该子类提供常数因子近似保证，弥合理论与实践之间的差距，而一般子模函数无法提供此类界。
• 在真实世界问题（包括具有协同成本结构的协同图像匹配和传感器部署）上实证验证所提算法。

提出的方法

• 本文将子模成本函数建模为 f(X) = Σᵢ₌₁ᵏ ψᵢ(wᵢ(X))，其中 ψᵢ 为单调凹函数，wᵢ 为模函数，k 为常数或 O(log n)，构成低秩和。
• 提出一种新颖的贪心算法 PLA（原始线性近似），专用于在子模覆盖约束下最小化子模成本，利用了低秩结构。
• 通过在成本函数的凹分量中使用线性近似，实现高效优化，同时保持理论保证。
• 理论分析表明，在低秩凹-模假设下，近似因子从 Ω(√n) 提升至常数，即使在子模比值最小化等难题中亦然。
• 通过两个真实世界应用评估该方法：使用子模匹配成本的协同图像匹配，以及具有基于群体成本折扣的传感器部署。
• 将算法与贪心基线（如 SGA 和无成本感知贪心）进行比较，结果在覆盖度和成本效率方面均表现更优。

实验结果

研究问题

• RQ1 当成本函数被限制为凹-模函数的低秩和时，我们能否在困难子模优化问题中实现常数因子近似？
• RQ2 子模成本函数的低秩结构如何相比一般子模函数，实现更优的理论近似保证？
• RQ3 该框架能否有效应用于具有协同成本的现实世界机器学习问题，如图像匹配和传感器部署？
• RQ4 在实际场景中，所提算法（PLA、SGA）与标准贪心基线在目标值和成本效率方面相比如何？

主要发现

• 在低秩凹-模成本假设下，本文在约束子模最小化、子模覆盖和比值最小化问题中实现了常数因子近似保证，克服了通用子模函数的 Ω(√n) 硬度。
• 所提 PLA 算法在传感器部署中优于 SGA 和无成本感知贪心算法，实现了更高的互信息覆盖度，同时有效利用了基于群体的成本折扣。
• 在协同图像匹配中，低秩子模成本模型显著减少了错误匹配点对，相比标准线性分配方法，匹配质量明显提升。
• 传感器部署中对成本函数的分段线性近似使 PLA 实现了精确优化，证实了其在具有结构化非可加成本设置下的有效性。
• 实证结果表明，PLA 和 SGA 均持续优于无成本感知贪心方法，尤其在存在协同成本结构时表现更优。
• 理论框架为子模优化理论与涉及规模经济和协同成本的实际应用之间建立了强大而实用的联系。