[论文解读] Rack-Aware Regenerating Codes with Fewer Helper Racks

Zhifang Zhang, Liyang Zhou|arXiv (Cornell University)|Jan 21, 2021

Advanced Data Storage Technologies参考文献 13被引用 6

一句话总结

本文提出了一种机架感知的再生码，实现了在分布式存储系统中存储开销与跨机架修复带宽之间的新型权衡，特别是在修复度 $ar{d} < \bar{k}$ 的情形下，可实现更低的子分组化程度和更高的效率。该文提出了显式构造的 MSRR 和 MBRR 码，结合了再生码与本地可修复码的优势，在小有限域上实现实际参数下的高效运行。

ABSTRACT

We consider the rack-aware storage system where \(n\) nodes are organized in \(\bar{n}\) racks each containing \(u\) nodes, and any \(k\) nodes can retrieve the stored file. Moreover, any single node erasure can be recovered by downloading data from \(\bar{d}\) helper racks as well as the remaining \(u\!-\!1\) nodes in the same rack. Previous work mostly focuses on minimizing the cross-rack repair bandwidth under the condition \(\bar{d}\geq \bar{k}\), where \(\bar{k}=\lfloor\frac{k}{u} floor\). However, \(\bar{d}\geq \bar{k}\) is not an intrinsic condition for the rack-aware storage model. In this paper, we establish a tradeoff between the storage overhead and cross-rack repair bandwidth for the particularly interesting case \(\bar{d}\!

研究动机与目标

• 在机架感知存储系统中建立存储开销与跨机架修复带宽之间新的权衡，特别是在 $\bar{d} < \bar{k}$ 的情形下，该情形不受先前工作的约束。
• 设计在 $\bar{d} < \bar{k}$ 范围内高效运行的显式 MSRR 和 MBRR 码，避免传统 MSR/MBR 码的高子分组化程度。
• 通过利用机架内修复并优化跨机架辅助机架选择，最小化修复带宽的同时降低修复度。
• 证明具有 $\bar{d} < \bar{k}$ 的码可实现低存储开销和实际的域大小，适合实际部署。

提出的方法

• 推导适用于所有参数 $n = \bar{n}u$, $k = \bar{k}u + u_0$ 的割集界，建立在存储和跨机架带宽约束下文件大小的理论极限。
• 提出一种基于类似乘积矩阵结构的标量码构造，其中每个机架的数据通过有限域上的 $(\bar{n}, \bar{d}, \bar{d})$ MBR 码进行编码。
• 采用对称矩阵 $S$ 和类似范德蒙德的结构生成辅助机架系数，实现从 $\bar{d}$ 个辅助机架和 $u-1$ 个机架内节点恢复任意失效节点。
• 通过打孔机架码 $C_e$ 的线性组合重构失效节点，确保在 $\bar{d} < \bar{k}$ 条件下修复的可行性。
• 通过显式参数化构造 MSRR 和 MBRR 码，其中 MBRR 的 $\beta = 1$，MSRR 的 $\alpha$ 经优化，实现最小存储或最小带宽。
• 在大小与 $n$ 相当的有限域上运行，例如 $\mathrm{GF}(2^8)$，实现低子分组化程度的实际部署。

Fig. 1 : An example of the information flow graph used to prove the cut-set bound, where $(n,k,u,\bar{d})=(6,4,2,1)$ .

实验结果

研究问题

• RQ1 在机架感知存储系统中，当 $\bar{d} < \bar{k}$ 时，能否建立有意义的存储开销与跨机架修复带宽之间的权衡？
• RQ2 能否为 $\bar{d} < \bar{k}$ 范围设计出具有低子分组化程度和小域大小的显式 MSRR 和 MBRR 码构造？
• RQ3 修复度 $\bar{d}$ 如何影响机架感知系统中存储效率与跨机架通信成本之间的平衡？
• RQ4 所提出的码在存储开销和修复度方面是否优于现有的 MSR/MBR 和 LRC 码？

主要发现

• 所提出的 MSRR 码在 $\bar{d} = 4$ 时实现约 1.25 的存储开销，参数为 $\bar{n} = 10$，$u = 5$，$n-k=6$，相比 $\bar{d} = 0$ 显著降低了开销。
• 当 $\bar{n} = 10$ 时，MSRR 码的存储开销从 $\bar{d} = 0$ 时的 1.389 降低至 $\bar{d} = 8$ 时的 1.136，降幅达 18.2%。
• MBRR 码在所有测试的 $\bar{d}$ 值下均保持 1 的跨机架修复带宽开销，表现出一致的带宽效率。
• 在相同参数下，MBRR 码的存储开销从 $\bar{d} = 0$ 到 $\bar{d} = 8$ 降低了 11.1%，表明中等 $\bar{d}$ 值下效率更高。
• 码在 $\mathrm{GF}(2^8)$ 上构造，实现实际部署，其子分组化程度与 $n$ 相当，不同于先前 MSR 码中指数级的构造。
• 结果表明 $\bar{d} < \bar{k}$ 范围是可行且有益的，因为它避免了 $\bar{d} \geq \bar{k}$ 构造中高修复度和指数级子分组化的问题。