[论文解读] Parallel and Distributed Block-Coordinate Frank-Wolfe Algorithms

Yu-Xiang Wang, Veeranjaneyulu Sadhanala+4 more|arXiv (Cornell University)|Sep 22, 2014

Stochastic Gradient Optimization Techniques参考文献 41被引用 32

一句话总结

本文提出了一种异步、并行且分布式的块坐标Frank-Wolfe算法（Ap-BCFW），用于在块可分约束下的大规模优化。通过利用异步更新并仅依赖于期望延迟的弱依赖性，该方法在结构化SVM和组融合Lasso问题上相较于同步和串行变体实现了显著加速，且在实际条件下具备理论收敛保证。

ABSTRACT

We develop parallel and distributed Frank-Wolfe algorithms; the former on shared memory machines with mini-batching, and the latter in a delayed update framework. Whenever possible, we perform computations asynchronously, which helps attain speedups on multicore machines as well as in distributed environments. Moreover, instead of worst-case bounded delays, our methods only depend (mildly) on \emph{expected} delays, allowing them to be robust to stragglers and faulty worker threads. Our algorithms assume block-separable constraints, and subsume the recent Block-Coordinate Frank-Wolfe (BCFW) method~\citep{lacoste2013block}. Our analysis reveals problem-dependent quantities that govern the speedups of our methods over BCFW. We present experiments on structural SVM and Group Fused Lasso, obtaining significant speedups over competing state-of-the-art (and synchronous) methods.

研究动机与目标

• 解决Frank-Wolfe算法在大规模优化中缺乏可扩展的并行与分布式变体的问题。
• 通过支持异步和小批量更新，实现在共享内存和分布式系统上的高效计算。
• 通过在多个核心或节点上实现真正的并行性，克服串行块坐标Frank-Wolfe（BCFW）方法的局限性。
• 通过仅依赖于期望延迟（而非最坏情况）来提高对慢速节点和故障工作线程的鲁棒性。
• 在对延迟和问题结构施加弱假设的条件下，为原始目标和原始-对偶目标提供理论收敛保证。

提出的方法

• 提出Ap-BCFW，一种支持异步更新和小批量处理的并行与分布式块坐标Frank-Wolfe算法。
• 为每个块使用线性预言机，避免昂贵的投影操作，从而在投影难以计算的问题上实现可扩展性。
• 引入经过精心设计的步长，即使在异步和无界延迟条件下也能保证收敛。
• 使用与问题相关的常数分析收敛性，包括有界性常数 $ C_f^\tau $ 和与约束集相关的范数。
• 将Lacoste-Julien等人[24]的收敛框架适配以处理异步更新和小批量处理。
• 利用期望延迟界而非最坏情况延迟界，从而在分布式环境中提升鲁棒性。

实验结果

研究问题

• RQ1 Frank-Wolfe方法能否在保持异步条件下的收敛保证的同时，实现有效的并行化与分布式化？
• RQ2 在块坐标Frank-Wolfe中，小批量处理和异步更新如何影响收敛速度以及对慢速节点的鲁棒性？
• RQ3 哪些与问题相关的量决定了Ap-BCFW相较于原始BCFW方法的速度提升？
• RQ4 在相同假设下，Ap-BCFW能否实现比同步和并行块坐标下降方法更快的可证明收敛速度？
• RQ5 在何种条件下，小批量处理能为块坐标Frank-Wolfe带来数量级的收敛速率提升？

主要发现

• 与最先进的同步方法相比，Ap-BCFW在结构化SVM问题上实现了显著加速——快数倍。
• 该方法通过仅依赖于期望延迟而非最坏情况延迟，对慢速节点和故障工作线程表现出鲁棒性。
• 在标准假设下，对于结构化SVM，收敛速率保持为 $ O(R^2/\lambda k) $，且与块数 $ n $ 无关。
• 理论分析表明，Ap-BCFW的收敛速率与并行块坐标下降（P-BCD）相同，均为 $ O(1/k) $，但使用更简单的线性预言机。
• 在有利情况下，小批量处理可使收敛速度提升数量级，尤其当问题结构允许高效计算线性预言机时。
• 该方法推广了BCFW，并在每次迭代仅更新一个块时退化为BCFW的特例。