[论文解读] Simple Regenerating Codes: Network Coding for Cloud Storage

Dimitris Papailiopoulos, Jianqiang Luo+3 more|arXiv (Cornell University)|Sep 1, 2011

Cooperative Communication and Network Coding被引用 4

一句话总结

本文提出了一种新型分布式存储编码方案——简单再生码（SRC），该方案通过仅使用XOR运算，实现了高数据速率与低I/O的故障节点精确修复。通过结合MDS码与局部可解码的校验码，SRC在保持恒定修复带宽的同时，仅需每次修复访问$ d = 2f $个磁盘，即可实现任意接近$ f/(f+1) $的高数据速率，显著优于复制和Reed-Solomon码在可靠性与存储效率方面的表现。

ABSTRACT

Network codes designed specifically for distributed storage systems have the potential to provide dramatically higher storage efficiency for the same availability. One main challenge in the design of such codes is the exact repair problem: if a node storing encoded information fails, in order to maintain the same level of reliability we need to create encoded information at a new node. One of the main open problems in this emerging area has been the design of simple coding schemes that allow exact and low cost repair of failed nodes and have high data rates. In particular, all prior known explicit constructions have data rates bounded by 1/2. In this paper we introduce the first family of distributed storage codes that have simple look-up repair and can achieve arbitrarily high rates. Our constructions are very simple to implement and perform exact repair by simple XORing of packets. We experimentally evaluate the proposed codes in a realistic cloud storage simulator and show significant benefits in both performance and reliability compared to replication and standard Reed-Solomon codes.

研究动机与目标

• 为解决长期存在的挑战：设计实用的高数据速率擦除码，支持高效精确修复的分布式存储系统。
• 克服以往显式构造的限制：最大数据速率被限制在1/2。
• 在节点修复过程中实现低磁盘I/O与最小计算开销，同时保持高容错能力。
• 提供一种实用且可实现的编码方案，可轻松集成至现有MDS码基础设施中。
• 在真实云存储工作负载下评估SRC的性能与可靠性，与复制和Reed-Solomon码进行比较。

提出的方法

• 所提出的SRC采用两层设计：利用MDS码保障数据可靠性，通过简单的XOR基校验码实现高效的本地修复。
• 每个节点存储$ \frac{f+1}{fk} $的文件大小，修复时仅需访问$ f $个节点，并从每个节点读取一个编码块。
• 通过简单XOR组合编码包实现精确修复，最大限度降低计算开销。
• 码率为$ R = \frac{f}{f+1} \cdot \frac{k}{n} $，通过增加$ f $可使其任意接近$ \frac{f}{f+1} $。
• 修复带宽为$ \frac{f+1}{k} $，每次修复接触的节点数为$ d = 2f $，与$ n $和$ k $无关。
• 该方案通过将任意现有MDS码与基于XOR的块放置策略及本地修复规则相结合实现。

实验结果

研究问题

• RQ1 我们能否设计一种分布式存储编码方案，实现高数据速率，同时支持低I/O、精确修复且计算开销最小？
• RQ2 在显式、实用的再生码构造中，是否可能突破1/2的数据速率限制？
• RQ3 SRC在真实云工作负载下的修复性能与复制和Reed-Solomon码相比如何？
• RQ4 SRC对数据可靠性有何影响，特别是在相关故障场景下？
• RQ5 当$ k $增大时，SRC能否保持高性能与低存储开销？

主要发现

• SRC实现高达$ \frac{f}{f+1} \cdot \frac{k}{n} $的数据速率，通过增加$ f $可使其任意接近$ \frac{f}{f+1} $，突破了此前1/2速率的限制。
• 对于$(50,46,2)$的SRC，存储开销约为三重复制的一半，同时保持了高四个数量级的数据可靠性。
• SRC的退化读取性能约为三重复制的60%，但修复I/O显著更低，重建时间更短。
• 在100台机器的Hadoop类模拟器中，SRC在修复带宽与可靠性方面均优于复制与Reed-Solomon码，尤其当$ k $增大时优势更明显。
• SRC的平均故障间隔时间（MTTF）远超三重复制，即使在高数据速率下也高出几个数量级。
• SRC将修复时间缩短至30分钟（复制为15分钟），尽管修复速度更快，但其高修复速度与故障多样性带来了显著更高的可靠性。