[论文解读] Polynomial codes: an optimal design for high-dimensional coded matrix multiplication

Qian Yu, Mohammad Ali Maddah-Ali+1 more|arXiv (Cornell University)|Dec 4, 2017

Stochastic Gradient Optimization Techniques参考文献 17被引用 367

一句话总结

本文提出多项式编码，一种用于分布式矩阵乘法的新型编码理论策略，实现了最优恢复阈值——即重构输出所需的最少工作节点数。通过将计算映射到多项式插值，该方法即使在存在慢启动节点（stragglers）的情况下也能实现高效、低延迟的恢复，优于以往工作在恢复阈值、延迟和通信负载方面的表现。

ABSTRACT

We consider a large-scale matrix multiplication problem where the computation is carried out using a distributed system with a master node and multiple worker nodes, where each worker can store parts of the input matrices. We propose a computation strategy that leverages ideas from coding theory to design intermediate computations at the worker nodes, in order to optimally deal with straggling workers. The proposed strategy, named as polynomial codes, achieves the optimum recovery threshold, defined as the minimum number of workers that the master needs to wait for in order to compute the output. This is the first code that achieves the optimal utilization of redundancy for tolerating stragglers or failures in distributed matrix multiplication. Furthermore, by leveraging the algebraic structure of polynomial codes, we can map the reconstruction problem of the final output to a polynomial interpolation problem, which can be solved efficiently. Polynomial codes provide order-wise improvement over the state of the art in terms of recovery threshold, and are also optimal in terms of several other metrics including computation latency and communication load. Moreover, we extend this code to distributed convolution and show its order-wise optimality.

研究动机与目标

• 为解决大规模分布式矩阵乘法系统中慢启动工作节点的挑战。
• 设计一种编码策略，以最小化恢复阈值——即主节点必须等待的工作节点数量，从而减少计算延迟。
• 在分布式计算环境中实现故障容错的最优冗余利用。
• 将编码框架扩展至分布式卷积运算，并提供理论最优性保证。

提出的方法

• 利用代数编码理论，在工作节点上通过多项式求值设计中间计算。
• 将最终矩阵乘积的重构映射为多项式插值问题，从而实现高效解码。
• 通过有限域上的多项式插值，从输入矩阵构造编码字。
• 确保主节点仅需任意等于恢复阈值数量的工作节点即可重构输出。
• 利用结构化冗余以最小化通信负载和计算开销。
• 通过调整多项式求值与插值过程，将框架扩展至分布式卷积。

实验结果

研究问题

• RQ1 在分布式矩阵乘法系统中，主节点必须等待的最少工作节点数是多少才能重构输出？
• RQ2 能否设计一种编码方案，实现恢复阈值的理论下限？
• RQ3 如何利用代数结构使重构过程高效且可扩展？
• RQ4 所提出的编码策略能否扩展至其他线性代数运算（如分布式卷积）？
• RQ5 与现有方法相比，其在延迟和通信负载方面有何改进？

主要发现

• 多项式编码实现了最优恢复阈值，即重构输出所需的理论最少工作节点数。
• 与先前最先进的方案相比，恢复阈值在阶上更优，尤其在高维设置下表现更佳。
• 通过多项式插值实现高效重构，显著降低了解码复杂度。
• 该方法在计算延迟和通信负载方面均达到最优性能。
• 该框架已扩展至分布式卷积，恢复阈值仍保持阶上的最优性。
• 多项式编码的代数结构使其在分布式系统中可实现系统化和可扩展的部署。