[论文解读] New MDS codes with small sub-packetization and near-optimal repair bandwidth

Venkatesan Guruswami, Ankit Singh Rawat|arXiv (Cornell University)|Jul 31, 2016

Advanced Data Storage Technologies参考文献 32被引用 3

一句话总结

本文提出了一种新型MDS向量码构造方法，其子分块化级别ℓ = O(n−k)较小，且修复带宽接近最优——具体而言，对于任意整数t≥1，修复带宽最多为剪裁集界限的(1+1/t)倍。该码通过修复传输机制实现高效精确修复，使修复节点的计算开销最小，从而可在分布式存储系统中实现高效部署。

ABSTRACT

An $(n, M)$ vector code $\mathcal{C} \subseteq \mathbb{F}^n$ is a collection of $M$ codewords where $n$ elements (from the field $\mathbb{F}$) in each of the codewords are referred to as code blocks. Assuming that $\mathbb{F} \cong \mathbb{B}^{\ell}$, the code blocks are treated as $\ell$-length vectors over the base field $\mathbb{B}$. Equivalently, the code is said to have the sub-packetization level $\ell$. This paper addresses the problem of constructing MDS vector codes which enable exact reconstruction of each code block by downloading small amount of information from the remaining code blocks. The repair bandwidth of a code measures the information flow from the remaining code blocks during the reconstruction of a single code block. This problem naturally arises in the context of distributed storage systems as the node repair problem [4]. Assuming that $M = |\mathbb{B}|^{k\ell}$, the repair bandwidth of an MDS vector code is lower bounded by $\big(\frac{n - 1}{n - k}\big)\cdot \ell$ symbols (over the base field $\mathbb{B}$) which is also referred to as the cut-set bound [4]. For all values of $n$ and $k$, the MDS vector codes that attain the cut-set bound with the sub-packetization level $\ell = (n-k)^{\lceil{{n}/{(n-k)}} ceil}$ are known in the literature [23, 35]. This paper presents a construction for MDS vector codes which simultaneously ensures both small repair bandwidth and small sub-packetization level. The obtained codes have the smallest possible sub-packetization level $\ell = O(n - k)$ for an MDS vector code and the repair bandwidth which is at most twice the cut-set bound. The paper then generalizes this code construction so that the repair bandwidth of the obtained codes approach the cut-set bound at the cost of increased sub-packetization level. The constructions presented in this paper give MDS vector codes which are linear over the base field $\mathbb{B}$.

研究动机与目标

• 解决在分布式存储系统中MDS码的子分块化级别ℓ与修复带宽之间的权衡问题。
• 构造出在保持ℓ尽可能小时，修复带宽接近最优的MDS码，理想情况下为O(n−k)。
• 通过支持修复传输机制，实现实际部署，从而在修复过程中最小化被访问节点的计算开销。
• 推广构造方法，使修复带宽在子分块化级别略微增加的代价下趋近剪裁集界限。

提出的方法

• 该构造基于具有特定稀疏模式的结构化校验矩阵的组合设计，以实现高效修复。
• 将码符号划分为多个阶段，并利用线性约束，仅通过从其他节点下载有限数量的符号来恢复缺失符号。
• 修复过程分为两个阶段：第一阶段下载(n−1)r^{t−1}个符号，第二阶段最多下载(r−1)r^{t−1}⌊s/t⌋个符号，其中r = n−k。
• 修复带宽受(1+1/t)(n−1)/r · ℓ限制，该值为剪裁集界限的(1+1/t)倍。
• 该码在基域𝔹上线性，且依赖于校验矩阵的组合结构以确保MDS性质。
• 该构造可推广至一般d，通过将子分块化级别提高到(d−k+1)^t，使修复带宽趋近剪裁集界限。

实验结果

研究问题

• RQ1 能否构造出子分块化级别ℓ = O(n−k)的MDS码，同时保持接近最优的修复带宽？
• RQ2 如何在子分块化级别较小的MDS码中实现修复传输，以降低节点修复期间的计算成本？
• RQ3 在趋近剪裁集界限时，子分块化级别与修复带宽之间的权衡关系是什么？
• RQ4 该构造能否推广至支持d < n−1个被访问节点的修复，而不仅限于d = n−1的情况？
• RQ5 能否在保持MDS性质和修复效率的前提下，减少所需的基域大小？

主要发现

• 所提出的码实现了ℓ = O(n−k)的子分块化级别，这是在保持接近最优修复带宽的MDS码中可能的最小值。
• 修复带宽最多为剪裁集界限的(1+1/t)倍，其中t为控制权衡关系的设计参数。
• 当t=1时，修复带宽最多为剪裁集界限的2倍，相较于以往子分块化级别较小的构造，这是一个显著改进。
• 该构造支持修复传输，意味着在修复过程中被访问节点无需进行任何计算，从而提升了效率。
• 该码在基域𝔹上线性，且由于校验矩阵的精心设计的组合结构，保持了MDS性质。
• 该方法可推广至任意d < n−1，得到子分块化级别为(d−k+1)^t的码，且随着t增大，修复带宽趋近剪裁集界限。