[论文解读] Two Piggybacking Codes with Flexible Sub-Packetization to Achieve Lower Repair Bandwidth

Hao Shi, Zhengyi Jiang+3 more|arXiv (Cornell University)|Sep 20, 2022

Advanced Data Storage Technologies被引用 4

一句话总结

本文提出了两种新颖的打孔码，可在子分块粒度灵活的分布式存储系统中实现单节点故障时更低的修复带宽。第一种码支持从 2 到 $ r $ 的子分块粒度 $ m $，而第二种码通过联合设计打孔与变换函数，使 $ m $ 为 $ r $ 的倍数，在 $ k/n = 0.75, 0.8, 0.9 $ 且 $ r \geq 4 $ 的情况下，实现了现有码中最低的修复带宽。

ABSTRACT

As a special class of array codes, $(n,k,m)$ piggybacking codes are MDS codes (i.e., any $k$ out of $n$ nodes can retrieve all data symbols) that can achieve low repair bandwidth for single-node failure with low sub-packetization $m$. In this paper, we propose two new piggybacking codes that have lower repair bandwidth than the existing piggybacking codes given the same parameters. Our first piggybacking codes can support flexible sub-packetization $m$ with $2\leq m\leq n-k$, where $n - k > 3$. We show that our first piggybacking codes have lower repair bandwidth for any single-node failure than the existing piggybacking codes when $n - k = 8,9$, $m = 6$ and $30\leq k \leq 100$. Moreover, we propose second piggybacking codes such that the sub-packetization is a multiple of the number of parity nodes (i.e., $(n-k)|m$), by jointly designing the piggyback function for data node repair and transformation function for parity node repair. We show that the proposed second piggybacking codes have lowest repair bandwidth for any single-node failure among all the existing piggybacking codes for the evaluated parameters $k/n = 0.75, 0.8, 0.9$ and $n-k\geq 4$.

研究动机与目标

• 解决高码率 MDS 数组码在低子分块粒度下最小化修复带宽的挑战。
• 设计支持灵活子分块粒度 $ m $ 的打孔码，尤其针对 $ 2 \leq m \leq r $ 的情况，其中 $ r = n-k $。
• 提出打孔与变换函数的联合设计，以减少数据节点与校验节点修复时的修复带宽。
• 在相同参数下，优于现有打孔码的修复带宽表现，尤其在实际子分块粒度约束下。
• 在保持 MDS 性质的同时，实现数据与校验节点的高效修复，且修复比率最小。

提出的方法

• 提出首个支持灵活子分块粒度 $ m $（满足 $ 2 \leq m \leq r $，其中 $ r = n-k \geq 4 $）的打孔码 $ \mathcal{C}_1(n,k,m,L) $。
• 设计联合减少数据节点与校验节点修复带宽的打孔函数，与以往仅分别优化两者的方法不同。
• 引入一种用于校验节点修复的变换函数，与打孔函数协同工作，进一步降低修复负载。
• 采用结构化设计，其中 $ L $ 是 $ k $ 的因数，从而能够推导修复带宽比率的解析表达式。
• 对打孔与变换函数进行联合优化，以实现校验节点的最小平均修复带宽。
• 推导出平均修复带宽比率 $ \gamma^{\text{sys}} $ 和 $ \gamma^{\text{parity}} $ 的闭式表达式，并提供边界分析及 $ k \to \infty $ 时的渐近分析。

实验结果

研究问题

• RQ1 如何设计打孔码以在 $ 2 \leq m \leq r $ 的灵活子分块粒度范围内，同时最小化修复带宽？
• RQ2 联合设计用于数据节点的打孔函数与用于校验节点的变换函数，对整体修复带宽有何影响？
• RQ3 当 $ m < r $ 时，特别是 $ r = 8,9 $ 且 $ m = 6 $ 的情况下，所提码与现有打孔码的修复带宽相比如何？
• RQ4 当 $ m $ 为 $ r $ 的倍数时，第二类码的性能增益如何，特别是在码率 $ k/n = 0.75, 0.8, 0.9 $ 且 $ r \geq 4 $ 的情况下？
• RQ5 打孔与变换函数的联合设计能否实现比具有相似参数的现有码更低的修复带宽？

主要发现

• 我们的第一类打孔码 $ \mathcal{C}_1 $ 在 $ r = 8,9 $、$ m = 6 $ 且 $ 30 \leq k \leq 100 $ 的条件下，修复带宽低于所有现有打孔码，且支持灵活的子分块粒度 $ 2 \leq m \leq r $。
• 当 $ m $ 为 $ r $ 的倍数时，第二类打孔码 $ \mathcal{C}_2 $ 在 $ k/n = 0.75, 0.8, 0.9 $ 且 $ r \geq 4 $ 的条件下，实现了所有现有打孔码中最低的修复带宽。
• 对于 $ \mathcal{C}_1 $，当 $ k \to \infty $ 时，平均修复带宽比率 $ \gamma^{\text{sys}} $ 趋近其最小值 $ \gamma_{\text{min}}^{\text{sys}} $，表明其具有强渐近最优性。
• $ \mathcal{C}_2 $ 中校验节点的平均修复带宽比率为 $ \gamma_{\text{parity}} = \frac{2}{r} + \frac{1}{k} - \frac{1}{kr} - \frac{L+1}{2sr} $，通过联合函数设计实现最小化。
• 图 5 和图 6 的对比评估结果表明，$ \mathcal{C}_1 $ 和 $ \mathcal{C}_2 $ 在所有评估参数下均优于 REPB [15]、$ \mathcal{C}_3 $ [20]、$ \mathcal{C} $ [21]、OOP [16]、$ \mathcal{C}_4 $ [1] 和 $ \mathcal{C}_5 $ [19]。
• 在 $ \mathcal{C}_2 $ 中，打孔与变换函数的联合设计相比独立优化数据与校验修复函数的码，显著降低了修复带宽。