[论文解读] Scaling Submodular Maximization via Pruned Submodularity Graphs

Tianyi Zhou, Hua Ouyang+3 more|arXiv (Cornell University)|Jun 1, 2016

Complexity and Algorithms in Graphs参考文献 19被引用 4

一句话总结

本文提出子模剪枝（Submodular Sparsification, SS），一种随机剪枝方法，通过构建有向子模性图并基于由成对边际收益导出的边权重，迭代移除节点，从而减少子模最大化问题的基集规模。该方法在大小为 O(log²n) 的缩减集合上实现了接近最优的性能，显著降低了计算和内存开销，同时在新闻和视频摘要任务中保持或超越了贪心算法的性能。

ABSTRACT

We propose a new random pruning method (called "submodular sparsification (SS)") to reduce the cost of submodular maximization. The pruning is applied via a "submodularity graph" over the $n$ ground elements, where each directed edge is associated with a pairwise dependency defined by the submodular function. In each step, SS prunes a $1-1/\sqrt{c}$ (for $c>1$) fraction of the nodes using weights on edges computed based on only a small number ($O(\log n)$) of randomly sampled nodes. The algorithm requires $\log_{\sqrt{c}}n$ steps with a small and highly parallelizable per-step computation. An accuracy-speed tradeoff parameter $c$, set as $c = 8$, leads to a fast shrink rate $\sqrt{2}/4$ and small iteration complexity $\log_{2\sqrt{2}}n$. Analysis shows that w.h.p., the greedy algorithm on the pruned set of size $O(\log^2 n)$ can achieve a guarantee similar to that of processing the original dataset. In news and video summarization tasks, SS is able to substantially reduce both computational costs and memory usage, while maintaining (or even slightly exceeding) the quality of the original (and much more costly) greedy algorithm.

研究动机与目标

• 解决在具有 n 个基元素的大规模数据集上，贪心子模最大化方法计算成本高、内存占用大的问题。
• 开发一种可扩展、可并行化的剪枝方法，减少有效基集规模，同时保持近似保证。
• 使子模优化在新闻和视频摘要等实际应用中可实用化部署。
• 通过剪枝过程中的可调参数 c，建立精度与速度之间的系统性权衡。

提出的方法

• 构建有向子模性图，其中每个节点代表一个基元素，每条边 u→v 的权重为 wuv = f(v|u) − f(u|V\u)，用于捕捉在保留 u 的前提下移除 v 所导致的净损失。
• 通过随机采样 O(log n) 个节点高效估计边权重，避免完整的 O(n²) 计算。
• 应用迭代剪枝：在每一步中，移除具有最小权重出边的 1−1/√c 比例节点，每轮将基集规模减少 √c 倍。
• 重复剪枝 log√c n 轮，直至缩减集合 V′ 的大小为 O(log²n)，从而以高概率保证在 V′ 上的贪心解达到 (1−1/e) 近似保证。
• 利用子模函数的有向三角不等式性质，对剪枝过程中的目标损失进行有界控制。
• 将剪枝后的集合集成到贪心最大化流程中，实现时间与内存的大幅降低，同时保持高效用。

实验结果

研究问题

• RQ1 我们能否在不牺牲解质量的前提下，显著降低贪心子模最大化的计算成本？
• RQ2 是否可能在通过随机采样和边权剪枝生成的大小为 O(log²n) 的剪枝基集上实现接近最优的性能？
• RQ3 剪枝参数 c 如何影响速度、内存使用与解质量之间的权衡？
• RQ4 子模剪枝能否在真实世界的摘要任务中超越现有的流式处理与贪心基线方法？

主要发现

• 在 NYTimes 1996–2007 语料库上，SS 在 95% 的天数中相对于贪心算法的相对效用 ≥0.99，某些情况下甚至超越贪心算法。
• 在新闻摘要任务中，SS 相较于懒惰贪心算法显著降低了时间成本，尤其当 n 超过 6,000 时优势更明显，同时保持或提升了 ROUGE-2 F1 分数。
• 在视频摘要任务（SumMe 数据集）中，SS 在召回率和 F1 分数上均优于懒惰贪心和筛法流式处理，同时大幅减少了计算时间。
• 当缩减集合大小为 300 时，SS 的相对效用达到 0.97，且在此之后计算成本增长缓慢。
• 当 c=8 时，剪枝率约为 64.6%，迭代复杂度为 log₂√2 n ≈ 1.44 log₂ n，实现快速收敛。
• 该方法通过避免存储全部 n 个元素，显著降低了内存使用，尤其在流式处理或大规模场景中优势明显。