[论文解读] ParMAC: distributed optimisation of nested functions, with application to learning binary autoencoders

Miguel Á. Carreira-Perpiñán, Mehdi Alizadeh|arXiv (Cornell University)|May 30, 2016

Advanced Neural Network Applications参考文献 49被引用 4

一句话总结

ParMAC 是一种用于嵌套机器学习模型的分布式优化框架，通过在集群中解耦子模型和辅助坐标，实现了高效、低通信量的训练。在 128 个处理器上训练 1 亿个高维点的二值自编码器时，其速度提升接近完美，机器间通信极少，并具有强有力的理论收敛保证。

ABSTRACT

Many powerful machine learning models are based on the composition of multiple processing layers, such as deep nets, which gives rise to nonconvex objective functions. A general, recent approach to optimise such "nested" functions is the method of auxiliary coordinates (MAC). MAC introduces an auxiliary coordinate for each data point in order to decouple the nested model into independent submodels. This decomposes the optimisation into steps that alternate between training single layers and updating the coordinates. It has the advantage that it reuses existing single-layer algorithms, introduces parallelism, and does not need to use chain-rule gradients, so it works with nondifferentiable layers. With large-scale problems, or when distributing the computation is necessary for faster training, the dataset may not fit in a single machine. It is then essential to limit the amount of communication between machines so it does not obliterate the benefit of parallelism. We describe a general way to achieve this, ParMAC. ParMAC works on a cluster of processing machines with a circular topology and alternates two steps until convergence: one step trains the submodels in parallel using stochastic updates, and the other trains the coordinates in parallel. Only submodel parameters, no data or coordinates, are ever communicated between machines. ParMAC exhibits high parallelism, low communication overhead, and facilitates data shuffling, load balancing, fault tolerance and streaming data processing. We study the convergence of ParMAC and propose a theoretical model of its runtime and parallel speedup. We develop ParMAC to learn binary autoencoders for fast, approximate image retrieval. We implement it in MPI in a distributed system and demonstrate nearly perfect speedups in a 128-processor cluster with a training set of 100 million high-dimensional points.

研究动机与目标

• 解决在通信成本高昂的分布式系统中扩展嵌套、非凸机器学习模型（如深度网络和自编码器）的挑战。
• 将辅助坐标法（MAC）扩展至分布式环境，在保持并行性和收敛性的同时最小化机器间通信。
• 在支持数据分片、容错性和流式数据处理的集群上，实现大规模模型（包括二值自编码器）的高效训练。
• 为分布式嵌套优化建立一个理论基础明确的运行时间和并行加速模型。

提出的方法

• ParMAC 使用处理机的环形拓扑结构，交替进行子模型的并行随机更新和辅助坐标的并行更新。
• 仅在机器之间传输子模型参数；不共享原始数据或坐标值，从而极大降低通信开销。
• 框架利用消息传递接口（MPI）进行分布式协调，通过阻塞和非阻塞的发送/接收调用实现高效的数据交换。
• 通过在机器间分发数据和计算，支持容错性和负载均衡，并可实现动态重构。
• 该方法适用于可微和不可微层，通过使用辅助坐标解耦优化过程，避免了反向传播。
• 基于计算和通信成本，推导出运行时间和加速比的理论模型，并在 128 个节点的集群上进行了经验验证。

实验结果

研究问题

• RQ1 在大规模集群上，能否在最小化机器间通信的前提下，高效地扩展机器学习中的嵌套优化问题？
• RQ2 如何在不传输数据或坐标的情况下，将辅助坐标法（MAC）适应于分布式消息传递环境？
• RQ3 在分布式嵌套优化中，计算、通信与加速比之间的理论关系是什么？
• RQ4 ParMAC 能否在大规模学习任务（如在 1 亿个点上训练二值自编码器）上实现近乎完美的加速？

主要发现

• 在 128 个处理器的集群上训练 1 亿个高维点的二值自编码器时，ParMAC 实现了近乎完美的加速比，通信开销与计算量相比可忽略不计。
• 实验获得的加速比结果与理论加速比模型的预测高度吻合，验证了其在真实场景中的准确性。
• 通过仅传输子模型参数而非数据或坐标，ParMAC 将机器间通信降至最低，同时保持了并行性的优势。
• 该框架支持数据洗牌、负载均衡、容错性和流式数据处理，适用于大规模实际部署。
• ParMAC 支持具有不可微或离散层的模型训练，将 MAC 的适用范围扩展至基于梯度的方法之外。