[论文解读] The Power of Randomization: Distributed Submodular Maximization on Massive Datasets

Rafael da Ponte Barbosa, Alina Ene+2 more|arXiv (Cornell University)|Feb 9, 2015

Machine Learning and Algorithms参考文献 10被引用 44

一句话总结

本文提出了一种用于约束子模最大化问题的分布式随机化算法，该算法具有令人惊叹的并行性，并在大规模数据集上实现了可证明的、常数因子的近似保证。该算法在实践中优于集中式基线方法，同时保持理论边界，展示了在各种约束下强大的可扩展性和接近最优的性能。

ABSTRACT

A wide variety of problems in machine learning, including exemplar clustering, document summarization, and sensor placement, can be cast as constrained submodular maximization problems. Unfortunately, the resulting submodular optimization problems are often too large to be solved on a single machine. We develop a simple distributed algorithm that is embarrassingly parallel and it achieves provable, constant factor, worst-case approximation guarantees. In our experiments, we demonstrate its efficiency in large problems with different kinds of constraints with objective values always close to what is achievable in the centralized setting.

研究动机与目标

• 解决子模优化在超出单机容量的超大规模数据集上的可扩展性挑战。
• 设计一种分布式算法，在保持理论近似保证的同时具备高度并行性。
• 在多种约束和真实世界机器学习工作负载下评估该算法的性能。
• 证明分布式计算可以实现接近集中式最优解的性能。

提出的方法

• 该算法使用随机化将基集划分到多个机器上，从而实现令人惊叹的并行计算。
• 每台机器独立地使用类似贪心的方法处理其本地子集，以近似子模函数最大化。
• 提出一种新颖的分析框架，在各种约束（如基数约束和拟阵约束）下建立最坏情况下的近似保证。
• 该方法结合随机采样与分布式贪心选择，以平衡精度与可扩展性。
• 该算法设计为通信高效，最大限度减少机器之间的数据传输。
• 理论分析证明了与数据集大小无关的常数因子近似比。

实验结果

研究问题

• RQ1 分布式算法是否能在大规模数据集上为子模最大化问题实现可证明的近似保证？
• RQ2 所提出的算法在解决方案质量与可扩展性方面与集中式基线相比表现如何？
• RQ3 不同约束（如基数约束、拟阵约束）对算法近似比和运行时间有何影响？
• RQ4 随机化是否能在分布式子模优化中同时实现高并行性与强理论保证？

主要发现

• 即使在单台机器无法容纳的超大规模数据集上，该算法的解决方案质量也始终接近集中式最优解。
• 理论上证明了该方法在各种约束下均保持常数因子近似保证。
• 实验结果表明，该算法能随机器数量高效扩展，且通信开销极低。
• 在解决方案质量与收敛速度方面，该算法优于现有的分布式基线方法。
• 随机化实现了有效的负载均衡，并避免了分布式执行中的瓶颈。
• 该方法在多种应用场景中表现出强鲁棒性，包括典型聚类、文档摘要和传感器部署。