[论文解读] Random Coordinate Descent Methods for Minimizing Decomposable Submodular Functions

Alina Ene, Huy L. Nguyên|arXiv (Cornell University)|Feb 9, 2015

Complexity and Algorithms in Graphs参考文献 18被引用 12

一句话总结

本文提出了一种随机坐标下降方法（RCDM 和 ACDM），用于最小化可分解的子模函数，相比交替投影方法实现了更快的线性收敛速度和更低的迭代成本。通过在分解的各个组件上采用随机更新，算法减少了对全维操作的依赖，在实践中显著加快了收敛速度，尤其在图像分割任务中表现突出。

ABSTRACT

Submodular function minimization is a fundamental optimization problem that arises in several applications in machine learning and computer vision. The problem is known to be solvable in polynomial time, but general purpose algorithms have high running times and are unsuitable for large-scale problems. Recent work have used convex optimization techniques to obtain very practical algorithms for minimizing functions that are sums of ``simple" functions. In this paper, we use random coordinate descent methods to obtain algorithms with faster linear convergence rates and cheaper iteration costs. Compared to alternating projection methods, our algorithms do not rely on full-dimensional vector operations and they converge in significantly fewer iterations.

研究动机与目标

• 解决机器学习与计算机视觉领域中大规模子模函数最小化对更快、可扩展算法的需求。
• 通过利用函数的可分解结构，克服通用子模最小化算法运行时间过长的问题。
• 开发高效的优化方法，使其在收敛速度和计算成本方面优于现有的交替投影技术。
• 为可分解子模函数背景下随机坐标下降的线性收敛速率提供理论保证。
• 设计适用于现实世界应用（如图像分割）的实用算法，这些应用面临数据规模和复杂性迅速增长的挑战。

提出的方法

• 将可分解子模最小化问题表述为两个多面体之间的距离最小化问题：一致空间 A 和基多面体 Y 的乘积。
• 应用随机坐标下降（RCDM），通过随机选择一个块 i ∈ {1, ..., r}，并将其投影到基多面体 B(F_i) 上，以更新对偶变量。
• 采用加速变体（ACDM），引入类似动量的更新机制，以提升收敛速度，实现在更少迭代次数内更快收敛。
• 利用黑箱预言机来最小化每个简单函数 F_i + w，从而实现高效的投影操作，而无需进行全维向量计算。
• 为每个组件维护对偶变量 y^(i)，并通过随机投影进行更新，原始解通过 x = -∑y^(i) 重构。
• 使用平滑和离散对偶间隙（ν_s 和 ν_d）来衡量收敛性，这些指标提供了紧致的最优性界，并有助于监控优化过程。

实验结果

研究问题

• RQ1 随机坐标下降方法在可分解子模函数最小化中是否能实现比交替投影方法更快的收敛速度？
• RQ2 该设置下随机坐标下降的理论收敛速率是多少？与现有方法相比如何？
• RQ3 与交替投影相比，坐标下降方法的迭代成本如何，特别是在每次迭代中基多面体投影次数方面？
• RQ4 加速随机坐标下降是否能进一步减少实际收敛所需的迭代次数？
• RQ5 与最先进的交替投影算法相比，这些方法在真实世界图像分割任务中的表现如何？

主要发现

• 所提出的随机坐标下降方法（RCDM）实现了线性收敛速率，其理论性能与交替投影方法相当，但迭代成本显著更低。
• 加速坐标下降方法（ACDM）所需的迭代次数远少于交替投影（AP）方法，表现出更优的实际性能。
• RCDM 和 ACDM 每次迭代每个块仅需一次投影，而 AP 每次迭代需 r 次投影，因此新方法在速度上快了 r 倍。
• 在图像分割任务中，ACDM 的收敛速度远快于 AP，如图 5 所示的对偶间隙图所示，所有测试实例中均观察到最快收敛。
• ACDM 和 RCDM 的平滑与离散对偶间隙（ν_s 和 ν_d）稳步且迅速下降，表明其具有强大的收敛行为和紧致的最优性界。
• 实验结果证实，这些算法不仅理论合理，而且在实际应用中表现极佳，在真实数据上的速度和收敛速率均优于 AP。