[论文解读] NOMAD: Non-locking, stOchastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion

Hyokun Yun, Hsiang‐Fu Yu+3 more|arXiv (Cornell University)|Dec 1, 2013

Blind Source Separation Techniques参考文献 5被引用 32

一句话总结

NOMAD 是一种无锁、去中心化、异步的随机算法，适用于大规模矩阵补全，通过消除同步瓶颈，在通用硬件上实现了高效的并行计算。在多核和分布式内存环境下，其收敛性和可扩展性均优于当前最先进的方法，尤其在数据规模和机器数量增加时表现更优。

ABSTRACT

We develop an efficient parallel distributed algorithm for matrix completion, named NOMAD (Non-locking, stOchastic Multi-machine algorithm for Asynchronous and Decentralized matrix completion). NOMAD is a decentralized algorithm with non-blocking communication between processors. One of the key features of NOMAD is that the ownership of a variable is asynchronously transferred between processors in a decentralized fashion. As a consequence it is a lock-free parallel algorithm. In spite of being an asynchronous algorithm, the variable updates of NOMAD are serializable, that is, there is an equivalent update ordering in a serial implementation. NOMAD outperforms synchronous algorithms which require explicit bulk synchronization after every iteration: our extensive empirical evaluation shows that not only does our algorithm perform well in distributed setting on commodity hardware, but also outperforms state-of-the-art algorithms on a HPC cluster both in multi-core and distributed memory settings.

研究动机与目标

• 解决现有矩阵补全算法在带宽有限且网络不可靠的通用硬件上的低效问题。
• 开发一种可扩展的并行算法，避免同步分布式系统中常见的同步开销。
• 通过利用异步、去中心化的计算与可序列化的更新机制，实现在大规模数据集上的高性能矩阵补全。
• 在共享内存和分布式内存环境中，实现优于当前最先进算法的收敛速度和性能表现。
• 在数据规模和机器数量同时增加时，展示出稳健的可扩展性，模拟真实世界中的协同过滤工作负载。

提出的方法

• 采用去中心化、对称的架构，所有处理器执行相同的计算和通信任务。
• 采用所有者计算范式，通过在处理器之间动态分配变量所有权来消除锁机制。
• 支持处理器之间的非阻塞、异步通信，避免在每次迭代后进行整体同步。
• 通过保证存在一种等价的顺序更新顺序，确保更新的可序列化性，防止使用过时参数。
• 应用带加权平方损失和 L2 正则化的随机梯度下降，其中目标函数在已观测条目上是可分的。
• 支持任意可分的损失函数和正则化项，本文重点关注平方损失和加权 Frobenius 范数正则化。

实验结果

研究问题

• RQ1 在通用硬件上，去中心化、无锁、异步算法是否能实现优于同步或阻塞算法的性能？
• RQ2 在分布式内存环境中，NOMAD 在机器数量和数据规模增加时的可扩展性如何？
• RQ3 由于消除了同步障碍，是否能实现更快的收敛速度和在真实世界协同过滤工作负载中的性能提升？
• RQ4 与 DSGD、DSGD++ 和 CCD++ 等当前最先进算法相比，NOMAD 在收敛速度和解的质量方面表现如何？
• RQ5 当数据集规模和机器数量成比例增长时，NOMAD 是否能保持高性能和可扩展性？

主要发现

• 在单台机器上，NOMAD 在最多 30 个线程时实现接近线性的扩展，表现出强大的多核性能。
• 在固定数据集上，NOMAD 在最多 32 台机器上实现近乎线性的扩展，优于同步和其他异步基线方法。
• 在通用硬件集群上，与 HPC 集群相比，NOMAD 相较于 DSGD、DSGD++ 和 CCD++ 展现出更显著的性能优势。
• 当数据规模和机器数量成比例增长时，NOMAD 保持了更优的可扩展性，且性能差距随规模增大而扩大。
• 在模拟 Netflix 的合成数据集实验中，NOMAD 始终优于 DSGD++ 和其他竞争算法，尤其在大规模场景下。
• 该算法的可序列化更新机制确保了正确性而无需同步，从而实现了比使用过时参数的方法更快的收敛速度。