[论文解读] On the Sub-Packetization Size and the Repair Bandwidth of Reed-Solomon Codes

Weiqi Li, Zhiying Wang+1 more|arXiv (Cornell University)|Jun 1, 2018

Advanced Data Storage Technologies参考文献 33被引用 5

一句话总结

本文通过引入在代码构造和修复方案之间插值的机制，提出了在 Reed-Solomon 码中灵活权衡子分块大小与修复带宽的方法，介于完整长度 RS 码（子分块大小低，修复带宽高）与 MSR 实现码（子分块大小高，修复带宽最优）之间。通过调整评估点集合的大小，该方案实现了可变的修复带宽，从而在减少网络流量的同时保持可管理的域复杂度，有利于实际部署。

ABSTRACT

Reed-Solomon (RS) codes are widely used in distributed storage systems. In this paper, we study the repair bandwidth and sub-packetization size of RS codes. The repair bandwidth is defined as the amount of transmitted information from surviving nodes to a failed node. The RS code can be viewed as a polynomial over a finite field $GF(q^\ell)$ evaluated at a set of points, where $\ell$ is called the sub-packetization size. Smaller bandwidth reduces the network traffic in distributed storage, and smaller $\ell$ facilitates the implementation of RS codes with lower complexity. Recently, Guruswami and Wootters proposed a repair method for RS codes when the evaluation points are the entire finite field. While the sub-packization size can be arbitrarily small, the repair bandwidth is higher than the minimum storage regenerating (MSR) bound. Tamo, Ye and Barg achieved the MSR bound but the sub-packetization size grows faster than the exponential function of the number of the evaluation points. In this work, we present code constructions and repair schemes that extend these results to accommodate different sizes of the evaluation points. In other words, we design schemes that provide points in between. These schemes provide a flexible tradeoff between the sub-packetization size and the repair bandwidth. In addition, we generalize our schemes to manage multiple failures.

研究动机与目标

• 弥合完整长度 RS 码（子分块大小低，修复带宽高）与 MSR 实现码（子分块大小高，修复带宽最优）之间的中间解决方案缺失问题。
• 提供一个统一框架，推广适用于不同评估点集合的现有 RS 码修复方案。
• 通过在子分块大小与修复带宽之间实现平衡，实现实际部署，适用于真实世界的分布式存储系统。
• 将修复方案扩展至支持多个节点失效，同时保持复杂度与带宽效率之间的权衡。

提出的方法

• 通过在 $GF(q^\ell)$ 的子集上对多项式进行求值，而非在整个域上，构建在 $GF(q)$ 上的向量码，其子分块大小为 $\ell$。
• 利用对偶码表示法，推导出在保持子域 $\mathbb{B} = GF(q)$ 上线性相关性的同时最小化修复带宽的修复方案。
• 应用 $GF(q^\ell)$ 上的迹函数与对偶基，将域元素分解为 $\mathbb{B}$-线性组合，从而实现高效的修复计算。
• 通过评估点的线性组合与迹投影定义修复系数，确保满秩并实现最小传输量。
• 通过将修复系数设计扩展至同时处理多个失效，将该方案推广至多失效场景。
• 证明所提方案与基于对偶码的修复方案等价，确保理论最优性与正确性。

实验结果

研究问题

• RQ1 能否为 Reed-Solomon 码设计一种修复方案，使其在子分块大小与修复带宽之间实现灵活权衡？
• RQ2 如何在保持子分块大小在域算术中可管理的前提下，最小化修复带宽？
• RQ3 评估点集合大小的变化对 RS 码中修复带宽与子分块大小有何影响？
• RQ4 所提方案能否推广至支持多个节点失效，且修复带宽保持有界？
• RQ5 与现有完整长度及 MSR 实现的 RS 码方案相比，该方法在性能与复杂度方面表现如何？

主要发现

• 所提方案实现了子分块大小与修复带宽之间的连续权衡，插值于完整长度码与 MSR 实现码的极端情况之间。
• 对于给定的 $n$ 和 $k$，修复带宽随帮助节点数量线性增长，且在评估点集合被精心选择时达到最小化。
• 子分块大小 $\ell$ 可独立于域大小进行调节，从而实现子分块大小可控、域算术复杂度可管理的实际部署。
• 在某些配置下，该修复方案实现了最优修复带宽，当 $\ell \approx n^n$ 时，其修复带宽达到 MSR 边界，同时相比先前构造具有更低的复杂度。
• 该方案可推广至多失效场景，其带宽效率与已知的多失效 MSR 码相当。
• 理论分析证实，该修复方案与基于对偶码的方案等价，确保了修复的正确性及满秩条件。