[论文解读] The repair problem for Reed-Solomon codes: Optimal repair of single and multiple erasures, asymptotically optimal node size

Itzhak Tamo, Min Ye+1 more|arXiv (Cornell University)|May 4, 2018

Advanced Data Storage Technologies参考文献 8被引用 8

一句话总结

本文提出了显式构造的 Reed-Solomon 码，可在分布式存储系统中实现单个或多个节点失效时的最优修复，达到剪切集界。通过使用一种新颖的域塔构造和线性修复方案，作者实现了渐近最优的修复带宽，子分块大小为 $ l = \exp((1+o(1))n\log n) $，证明了超指数级扩展对于标量 MDS 码实现剪切集界而言既是必要也是充分的。

ABSTRACT

The repair problem in distributed storage addresses recovery of the data encoded using an erasure code, for instance, a Reed-Solomon (RS) code. We consider the problem of repairing a single node or multiple nodes in RS-coded storage systems using the smallest possible amount of inter-nodal communication. According to the cut-set bound, communication cost of repairing $h\ge 1$ failed nodes for an $(n,k=n-r)$ MDS code using $d$ helper nodes is at least $dhl/(d+h-k),$ where $l$ is the size of the node. Guruswami and Wootters (2016) initiated the study of efficient repair of RS codes, showing that they can be repaired using a smaller bandwidth than under the trivial approach. At the same time, their work as well as follow-up papers stopped short of constructing RS codes (or any scalar MDS codes) that meet the cut-set bound with equality. In this paper we construct families of RS codes that achieve the cutset bound for repair of one or several nodes. In the single-node case, we present RS codes of length $n$ over the field $\mathbb{F}_{q^l},l=\exp((1+o(1))n\log n)$ that meet the cut-set bound. We also prove an almost matching lower bound on $l$, showing that super-exponential scaling is both necessary and sufficient for scalar MDS codes to achieve the cut-set bound using linear repair schemes. For the case of multiple nodes, we construct a family of RS codes that achieve the cut-set bound universally for the repair of any $h=2,3,\dots$ failed nodes from any subset of $d$ helper nodes, $k\le d\le n-h.$ For a fixed number of parities $r$ the node size of the constructed codes is close to the smallest possible node size for codes with such properties.

研究动机与目标

• 弥合理论剪切集界与 Reed-Solomon 编码分布式存储系统中实际修复带宽之间的差距。
• 构造显式的标量 MDS 码，使其在修复单个或多个故障节点时达到剪切集界。
• 确定标量 MDS 码在使用线性修复方案时实现最优修复所需的最小子分块水平 $ l $。
• 提供一种通用的最优修复方案，适用于任意数量的故障节点 $ h \geq 2 $、任意帮助节点数 $ d \in [k, n-h] $ 以及所有可接受的参数。
• 建立节点大小 $ l $ 的紧致下界和上界，表明超指数级扩展对于实现最优修复而言既是必要也是充分的。

提出的方法

• 在 $ \mathbb{F}_{q^l} $ 上构造一族 Reed-Solomon 码，其中 $ l = \exp((1+o(1))n\log n) $，以实现单节点修复的剪切集界。
• 基于代数函数域的分层域塔构造，实现最小带宽的线性修复。
• 采用线性修复方案，其中每个帮助节点传输来自中间域上子空间基的精心选择的符号线性组合。
• 通过故障节点数量的归纳法证明最优性，表明修复子空间的维数与剪切集界一致。
• 引入修复子空间的基构造 $ B_i $，该子空间由 $ i $ 个故障节点的符号张成，确保最小通信量。
• 利用域扩张和乘法生成元，确保帮助节点间传输符号的线性无关性与最小重叠。

实验结果

研究问题

• RQ1 能否构造出标量 Reed-Solomon 码，使其在最小子分块水平下实现单节点修复的剪切集界？
• RQ2 标量 MDS 码在使用线性修复方案时，实现最优修复带宽所需的最小节点大小 $ l $ 是多少？
• RQ3 是否可能设计出一种单一码，使其对任意数量 $ h \geq 2 $ 的故障节点和任意 $ d \geq k $ 的帮助节点均能普遍实现剪切集界？
• RQ4 能否在不牺牲码灵活性的前提下，将多个失效情况下的修复带宽最小化至理论下界？
• RQ5 对于最优修复，所需域大小如何随码长 $ n $ 和校验数 $ r $ 变化？

主要发现

• 本文构造了在 $ \mathbb{F}_{q^l} $ 上长度为 $ n $ 的显式 Reed-Solomon 码，其中 $ l = \exp((1+o(1))n\log n) $，实现了单节点修复的剪切集界。
• 证明了 $ l $ 的近乎匹配的下界，表明超指数级扩展对于标量 MDS 码在使用线性修复方案时实现剪切集界而言既是必要也是充分的。
• 对于多个失效情况，作者构造了一族 RS 码，可普遍实现任意 $ h \geq 2 $ 个故障节点和任意 $ d \in [k, n-h] $ 个帮助节点的剪切集界。
• 所构造的多个失效码的节点大小渐近最优，接近此类码的最小可能大小。
• 修复带宽被最小化至 $ \frac{dhl}{d+h-k} $，与理论剪切集界完全一致，未因冗余或低效性而损失。
• 该构造依赖于一种新颖的域塔和基选择策略，确保了修复子空间中通信量最小化和线性无关性最大化。