[论文解读] On the Fundamental Limits of Coded Data Shuffling for Distributed Learning Systems.

Adel Elmahdy, Soheil Mohajer|arXiv (Cornell University)|Jul 11, 2018

Stochastic Gradient Optimization Techniques被引用 2

一句话总结

该论文通过提出一种新颖的确定性编码混洗方案，确立了分布式学习系统中编码数据混洗的根本极限，该方案在最坏情况的文件排列下最小化通信负载。它推导出精确的速率-缓存权衡关系，并通过匹配的下界证明了最优性，显著优于先前工作，通过在工作节点缓存中利用编码函数实现。

ABSTRACT

We consider the data shuffling problem in a distributed learning system, in which a master node is connected to a set of worker nodes, via a shared link, in order to communicate a set of files to the worker nodes. The master node has access to a database of files. In every shuffling iteration, each worker node processes a new subset of files, and has excess storage to partially cache the remaining files, assuming the cached files are uncoded. The caches of the worker nodes are updated every iteration, and it should be designed to satisfy any possible unknown permutation of the files in subsequent iterations. For this problem, we characterize the exact rate-memory trade-off for worst-case shuffling by deriving the minimum communication load for a given storage capacity per worker node. As a byproduct, the exact rate-memory trade-off for any shuffling is characterized when the number of files is equal to the number of worker nodes. We propose a novel deterministic coded shuffling scheme, which improves the state of the art, by exploiting the cache memories to create coded functions that can be decoded by several worker nodes. Then, we prove the optimality of our proposed scheme by deriving a matching lower bound and showing that the placement phase of the proposed coded shuffling scheme is optimal over all shuffles.

研究动机与目标

• 表征在非编码缓存下分布式学习系统中最坏情况数据混洗的精确速率-缓存权衡。
• 设计一种确定性编码混洗方案，在任意文件排列下最小化通信负载。
• 通过推导通信负载的匹配下界，证明所提方案的最优性。
• 证明所提方案的预放置阶段在所有可能的混洗中均为最优。

提出的方法

• 提出一种新颖的确定性编码混洗方案，利用工作节点缓存内存创建可被多个工作节点解码的编码函数。
• 设计一个预放置阶段，预先配置缓存以支持未来迭代中任意未知的文件排列。
• 采用结构化编码方法生成编码传输，使多个工作节点能够同时解码所需文件。
• 使用信息论论证推导通信负载的下界，以证明最优性。
• 分析在最坏情况混洗场景下存储容量（缓存）与通信负载之间的权衡。
• 证明当文件数量等于工作节点数量时，精确的速率-缓存权衡关系得以完全表征。

实验结果

研究问题

• RQ1 在最坏情况文件排列下，编码数据混洗的通信负载的根本极限是什么？
• RQ2 如何设计编码函数以在利用工作节点缓存的同时最小化通信量？
• RQ3 所提出的编码混洗方案在所有可能的混洗中是否在通信负载方面达到最优？
• RQ4 能否使预放置阶段对所有可能的文件分配排列都达到最优？

主要发现

• 所提编码混洗方案在最坏情况混洗下，针对每个工作节点给定的存储容量，实现了最小可能的通信负载。
• 推导出匹配的下界，证明所提方案在信息论上是最优的。
• 当文件数量等于工作节点数量时，该特殊情况下精确的速率-缓存权衡关系得以完全表征。
• 该方案的预放置阶段被证明在所有可能的混洗中均为最优，确保任意排列下的最小通信量。
• 通过在缓存之间利用编码函数减少冗余传输，该方案优于当前最先进水平。
• 结果首次实现了对分布式学习系统中编码数据混洗根本极限的精确表征。