[论文解读] Regularized Submodular Maximization at Scale

Ehsan Kazemi, Shervin Minaee+2 more|arXiv (Cornell University)|Feb 10, 2020

Complexity and Algorithms in Graphs参考文献 53被引用 16

一句话总结

本论文提出了 Distorted-Streaming 和 Distorted-Distributed-Greedy，这是首个针对正则化子模最大化问题的可扩展流式处理与分布式算法，其目标是最大化 $ f(S) = g(S) - \ell(S) $，其中 $ g $ 为单调子模函数，$ \ell $ 为模函数。这些方法分别实现了 $ (\phi^{-2} - \varepsilon) \cdot g(\text{OPT}) - \ell(\text{OPT}) $ 和 $ (1 - \varepsilon)\left[(1 - e^{-1}) \cdot g(\text{OPT}) - \ell(\text{OPT})\right] $ 的近似保证，同时相比先前工作将内存和通信开销降低了 $ O(1/\varepsilon) $ 倍。

ABSTRACT

In this paper, we propose scalable methods for maximizing a regularized submodular function $f = g - \ell$ expressed as the difference between a monotone submodular function $g$ and a modular function $\ell$. Indeed, submodularity is inherently related to the notions of diversity, coverage, and representativeness. In particular, finding the mode of many popular probabilistic models of diversity, such as determinantal point processes, submodular probabilistic models, and strongly log-concave distributions, involves maximization of (regularized) submodular functions. Since a regularized function $f$ can potentially take on negative values, the classic theory of submodular maximization, which heavily relies on the non-negativity assumption of submodular functions, may not be applicable. To circumvent this challenge, we develop the first one-pass streaming algorithm for maximizing a regularized submodular function subject to a $k$-cardinality constraint. It returns a solution $S$ with the guarantee that $f(S)\geq(ϕ^{-2}-ε) \cdot g(OPT)-\ell (OPT)$, where $ϕ$ is the golden ratio. Furthermore, we develop the first distributed algorithm that returns a solution $S$ with the guarantee that $\mathbb{E}[f(S)] \geq (1-ε) [(1-e^{-1}) \cdot g(OPT)-\ell(OPT)]$ in $O(1/ ε)$ rounds of MapReduce computation, without keeping multiple copies of the entire dataset in each round (as it is usually done). We should highlight that our result, even for the unregularized case where the modular term $\ell$ is zero, improves the memory and communication complexity of the existing work by a factor of $O(1/ ε)$ while arguably provides a simpler distributed algorithm and a unifying analysis. We also empirically study the performance of our scalable methods on a set of real-life applications, including finding the mode of distributions, data summarization, and product recommendation.

研究动机与目标

• 解决在流式与分布式环境下，针对正则化子模函数最大化缺乏可扩展算法的问题。
• 实现在全量数据无法访问的大规模数据上高效的一轮流式处理。
• 即使目标函数可能取负值，仍为正则化子模最大化提供理论近似保证。
• 相比先前方法，提升分布式计算中的内存与通信效率。
• 在真实应用场景（如数据摘要与推荐）中对所提算法进行实证验证。

提出的方法

• 提出 Distorted-Streaming，一种针对 $ k $-基数约束下正则化子模最大化的单轮流式算法。
• 引入基于失真的贪心选择规则，使流式环境下元素选择时能考虑模函数惩罚 $ \ell $。
• 设计 Distorted-Distributed-Greedy，一种基于 MapReduce 的分布式算法，在 $ O(1/\varepsilon) $ 轮内实现 $ (1 - \varepsilon) $-近似。
• 采用统一的分析框架，简化并改进了先前针对子模最大化问题的分布式算法。
• 通过在分布式环境下使用压缩且自适应的采样策略，避免存储数据集的多个副本。
• 将算法应用于多样化的应用场景，包括视频摘要、产品推荐与 Twitter 流摘要。

实验结果

研究问题

• RQ1 我们能否设计一种单轮流式算法，用于正则化子模最大化，即使目标函数可能为负，也能提供常数因子的近似保证？
• RQ2 我们能否开发一种正则化子模最大化的分布式算法，使内存与通信开销相比现有方法降低 $ O(1/\varepsilon) $ 倍？
• RQ3 在真实数据上，所提方法在目标值与可扩展性方面相较于现有离线与流式基线方法表现如何？
• RQ4 所提算法能否有效处理数据摘要与推荐系统等多样化的真实应用场景？
• RQ5 统一的分析框架是否在保持强性能保证的同时，简化了分布式子模最大化的理论分析？

主要发现

• Distorted-Streaming 在数据单轮遍历下实现了 $ (\phi^{-2} - \varepsilon) \cdot g(\text{OPT}) - \ell(\text{OPT}) $ 的近似保证，其中 $ \phi^{-2} \approx 0.382 $。
• Distorted-Distributed-Greedy 在 $ O(1/\varepsilon) $ 轮 MapReduce 计算中，提供了期望 $ (1 - \varepsilon) \cdot \left[(1 - e^{-1}) \cdot g(\text{OPT}) - \ell(\text{OPT})\right] $ 的近似。
• 与先前工作相比，该分布式算法将内存与通信复杂度降低了 $ O(1/\varepsilon) $ 倍，且无需存储数据集的多个副本。
• 实证结果表明，Distorted-Streaming 在视频、位置与文本摘要任务中，相比筛法流式与贪心动态规划方法，在目标值上表现更优，尤其在 $ k $ 较大时优势显著。
• 在 Twitter 文本摘要任务中，Distorted-Streaming 相较基线方法实现了显著更高的目标值，且计算开销可忽略不计。
• 算法在产品推荐与社交网络中的顶点覆盖任务中表现出色，证实了其实际可扩展性与有效性。