[论文解读] Newton-ADMM: A Distributed GPU-Accelerated Optimizer for Multiclass Classification Problems

Chih-Hao Fang, Sudhir B. Kylasa+3 more|arXiv (Cornell University)|Jul 18, 2018

Stochastic Gradient Optimization Techniques参考文献 47被引用 6

一句话总结

该论文提出 Newton-ADMM，一种分布式、GPU 加速的优化器，结合了非精确牛顿法与 ADMM 共识框架，在多分类任务中实现更快的收敛速度和更低的通信开销。通过利用 GPU 加速的海森向量乘积和谱罚参数选择策略，显著缩短了训练时间并提升了泛化性能，在大规模数据集上相比 SOTA 方法 GIANT 实现最高达 11.14× 的加速比。

ABSTRACT

First-order optimization methods, such as stochastic gradient descent (SGD) and its variants, are widely used in machine learning applications due to their simplicity and low per-iteration costs. However, they often require larger numbers of iterations, with associated communication costs in distributed environments. In contrast, Newton-type methods, while having higher per-iteration costs, typically require a significantly smaller number of iterations, which directly translates to reduced communication costs. In this paper, we present a novel distributed optimizer for classification problems, which integrates a GPU-accelerated Newton-type solver with the global consensus formulation of Alternating Direction of Method Multipliers (ADMM). By leveraging the communication efficiency of ADMM, GPU-accelerated inexact-Newton solver, and an effective spectral penalty parameter selection strategy, we show that our proposed method (i) yields better generalization performance on several classification problems; (ii) significantly outperforms state-of-the-art methods in distributed time to solution; and (iii) offers better scaling on large distributed platforms.

研究动机与目标

• 解决一阶方法（如 SGD）在分布式机器学习中通信开销高、收敛慢的问题。
• 通过利用 GPU 加速与高效的 ADMM 构造，克服牛顿类方法每轮计算成本高的问题。
• 在大规模、分布式多分类学习问题中，提升泛化性能并减少训练时间。
• 开发一种可扩展、通信高效的优化框架，在最小化资源开销的同时保持高精度。
• 通过在求解时间与可扩展性方面超越当前 SOTA 方法，建立分布式优化的新基准。

提出的方法

• 在全局共识 ADMM 框架中集成 GPU 加速的非精确牛顿求解器，以平衡计算成本与收敛速度。
• 采用谱罚参数选择（SPS）策略，动态调节 ADMM 的罚参数，提升子问题求解精度与收敛性。
• 通过 GPU 高效计算海森向量乘积，避免完整海森矩阵存储，实现可扩展的二阶优化。
• 采用分布式 ADMM 架构，各节点并行求解局部子问题，通过对偶上升步骤实现共识。
• 实施一种混合方法，将牛顿法的快速收敛性与 ADMM 在分布式环境中的通信效率相结合。
• 利用单节点牛顿法获得高精度参考解，以计算相对最优性间隙 θ = (F(xᵏ) - F(x*)) / F(x*) 用于收敛性评估。

实验结果

研究问题

• RQ1 将 GPU 加速的非精确牛顿法与 ADMM 集成，是否能在分布式多分类任务中实现比一阶方法更快速的收敛速度与更低的通信开销？
• RQ2 谱罚参数选择（SPS）策略对基于 ADMM 的牛顿求解器的收敛性与鲁棒性有何影响？
• RQ3 Newton-ADMM 在求解时间与泛化性能方面，相较于 SOTA 分布式优化器 GIANT 的性能优势有多大？
• RQ4 Newton-ADMM 在大规模分布式平台上的可扩展性如何，特别是在具有 280K 特征的高维数据集上？
• RQ5 该方法是否能在保持高精度的同时，实现在大规模真实世界数据集上的亚秒级训练周期？

主要发现

• 在 MNIST 数据集上，Newton-ADMM 相较于 GIANT 实现 5.15× 的加速，仅需 252 个周期即可达到 θ < 0.05，而 GIANT 需要 1086 个周期。
• 在 CIFAR-10 数据集上，Newton-ADMM 实现 11.14× 的加速，收敛于 1204 个周期，而 GIANT 需要 3215 个周期。
• 对于 HIGGS 数据集，两种方法均快速收敛（各需 1 个周期），但 Newton-ADMM 在其他数据集上保持更优性能。
• 在 E18 数据集（280K 特征）上，Newton-ADMM 实现亚秒级周期时间（32 个节点上为 1.98 秒），展现出强大的可扩展性。
• 如图 5(b) 所示，Newton-ADMM 更快地达到更低的目标值与更高的测试准确率，尤其在训练初期表现更优。
• 该方法在大规模分布式平台中展现出强大的弱可扩展性与强可扩展性，性能提升稳定，确立了分布式优化的新性能基准。