[论文解读] Revisiting Decomposable Submodular Function Minimization with Incidence Relations

Li Pan, Olgica Milenković|arXiv (Cornell University)|Mar 10, 2018

Complexity and Algorithms in Graphs参考文献 35被引用 7

一句话总结

本文提出了一种用于可分解子模函数最小化（DSFM）的新颖框架，该框架利用了关联关系——即哪些变量影响每个子模分量——显著提升了连续优化方法的收敛速度。通过引入基于关联关系的近端项和坐标采样策略，作者开发了加速交替投影（IAP）与坐标下降（RCDM、ACDM）算法，实现了可证明更快的收敛速度，尤其在并行设置下表现优异，实验结果表明其相比基线方法最高可实现2.5倍的加速。

ABSTRACT

We introduce a new approach to decomposable submodular function minimization (DSFM) that exploits incidence relations. Incidence relations describe which variables effectively influence the component functions, and when properly utilized, they allow for improving the convergence rates of DSFM solvers. Our main results include the precise parametrization of the DSFM problem based on incidence relations, the development of new scalable alternative projections and parallel coordinate descent methods and an accompanying rigorous analysis of their convergence rates.

研究动机与目标

• 为解决现有DSFM求解器在大规模机器学习问题中可扩展性不足与收敛性欠佳的问题。
• 形式化关联关系（定义哪些变量影响每个子模分量）在提升算法效率中的作用。
• 开发新型连续优化算法（IAP、RCDM、ACDM），利用关联结构实现更快收敛。
• 提供以关联稀疏度和并行化程度为参数的严格收敛速率分析。
• 通过实证验证，关联感知采样与加权近端项在实际中可实现更优性能。

提出的方法

• 作者采用关联关系对DSFM问题进行参数化，其中每个元素i具有参与的子模函数数量μi。
• 设计了一种基于关联关系的交替投影（IAP）方法，采用加权近端项与正交/斜交投影，并通过参数w ∈ {1, μ, μ^{1/2}}进行调优。
• 对于坐标下降，提出RCDM-U与ACDM，其采样策略基于公平着色（最优）与均匀随机采样（2-近似）。
• 这些算法引入加权近端项，并利用关联结构指导坐标选择，减少冗余更新。
• 收敛性分析以迭代复杂度为基准，显示出对N、R和||μ||₁的改进依赖关系，尤其在并行化条件下表现更优。
• 提出一种贪心采样策略（RCDM-G），通过利用关联重叠，在实验中优于随机采样。

实验结果

研究问题

• RQ1 如何形式化利用变量与子模分量之间的关联关系，以提升连续DSFM求解器的收敛性？
• RQ2 关联感知坐标采样策略对并行CD方法收敛速率的理论影响是什么？
• RQ3 能否优化加权近端项与投影类型（正交与斜交）以最小化IAP与CD算法的迭代复杂度？
• RQ4 采样策略选择（均匀、贪心、公平着色）如何影响并行CD方法的收敛速度？
• RQ5 关联感知算法在真实世界机器学习任务中相较于经典AP与CD方法的性能优势有多大？

主要发现

• 关联感知IAP方法在并行设置下的迭代复杂度为O(N||μ||₁R/K)，显著优于经典AP的O(N²R²/K)。
• 采用关联感知采样的加速CD方法（ACDM）的复杂度为O(( (R−K)/(R−1) N² + (K−1)/(R−1) N||μ||₁ )^{1/2} R/K)，在并行化条件下表现出更优的收敛性。
• RCDM-G中的贪心采样优于随机采样，在20Newsgroups数据集上的实验中将迭代次数减少最多达25%。
• 选择加权近端项与正交投影（w = μ^{1/2}）可实现最快收敛，相比无权重斜交投影最多减少50%的迭代次数。
• 在20Newsgroups半监督学习任务中，ACDM-U在多个α值下均优于IAP与RCDM-U，展现出最佳收敛速率。
• IAP在K增大时，迭代次数×K/R保持恒定，证实其具备完全并行可扩展性；而RCDM-U因关联集合重叠导致迭代次数略有增加。