[论文解读] Network Coding for Distributed Storage Systems

Alexandros G. Dimakis, P. Brighten Godfrey+3 more|ArXiv.org|Mar 5, 2008

Cooperative Communication and Network Coding参考文献 31被引用 31

一句话总结

本文提出了用于分布式存储系统的再生码，通过允许新节点从存活节点下载数据的编码函数而非完整数据片段来实现故障节点的高效修复。主要贡献在于理论化了存储与修复带宽之间的权衡关系，再生码在该曲线上实现了最优点，与传统纠删码或复制方案相比，显著降低了修复流量。

ABSTRACT

Distributed storage systems provide reliable access to data through redundancy spread over individually unreliable nodes. Application scenarios include data centers, peer-to-peer storage systems, and storage in wireless networks. Storing data using an erasure code, in fragments spread across nodes, requires less redundancy than simple replication for the same level of reliability. However, since fragments must be periodically replaced as nodes fail, a key question is how to generate encoded fragments in a distributed way while transferring as little data as possible across the network. For an erasure coded system, a common practice to repair from a node failure is for a new node to download subsets of data stored at a number of surviving nodes, reconstruct a lost coded block using the downloaded data, and store it at the new node. We show that this procedure is sub-optimal. We introduce the notion of regenerating codes, which allow a new node to download \emph{functions} of the stored data from the surviving nodes. We show that regenerating codes can significantly reduce the repair bandwidth. Further, we show that there is a fundamental tradeoff between storage and repair bandwidth which we theoretically characterize using flow arguments on an appropriately constructed graph. By invoking constructive results in network coding, we introduce regenerating codes that can achieve any point in this optimal tradeoff.

研究动机与目标

• 解决纠删码分布式存储系统中节点故障后需完整重建数据所导致的高修复带宽成本问题。
• 克服传统修复方法效率低下的问题，即需要下载整个数据对象以再生丢失的片段。
• 建立分布式存储系统中存储开销与修复带宽之间的基本权衡关系。
• 设计在该权衡曲线上达到最优的编码方案，以最小化修复过程中的存储与网络资源使用。
• 证明网络编码原理可被用于构建更高效、可扩展且实用的分布式存储系统。

提出的方法

• 引入再生码的概念，即新节点从存活节点下载数据的函数（线性组合）而非完整片段。
• 通过在构造的图上使用流论证，理论表征每个节点存储量（α）与修复带宽（γ）之间的基本权衡关系。
• 应用网络编码的构造性结果，设计出可实现最优权衡曲线上任意点的显式再生码。
• 定义两个极端点：最小存储再生码（MSR）用于最小化存储开销，最小带宽再生码（MBR）用于最小化修复带宽。
• 在有限域上使用随机线性网络编码生成修复数据包，确保以高概率实现恢复。
• 提出一种对称系统设计，所有节点存储相等数据量并以相等角色参与修复，从而减少I/O瓶颈。

实验结果

研究问题

• RQ1 纠删码分布式存储系统中的修复带宽能否低于传统方法的k倍片段大小？
• RQ2 分布式存储系统中是否存在存储成本与修复带宽之间的基本权衡关系，且能否被理论表征？
• RQ3 能否利用网络编码技术构造出在该权衡关系上达到最优点的编码？
• RQ4 与复制和混合方案相比，再生码在带宽、存储和系统复杂度方面表现如何？
• RQ5 在具有节点动态变化和资源受限的真实分布式系统中，使用再生码的实际影响是什么？

主要发现

• 在(4,2)系统中，再生码可将修复带宽从M比特（k个片段）降低至最低1.5M比特，相比传统方法减少25%。
• 每个节点存储量（α）与修复带宽（γ）之间存在基本权衡关系，该关系通过网络流论证得到理论表征。
• 再生码实现了最优权衡曲线，其中MSR码最小化存储，MBR码最小化修复带宽。
• 在(4,2)系统中，最小修复带宽为1.5MB，该值在信息论上是最优的，且可通过线性网络编码实现。
• MSR码在存储和带宽方面优于混合方案，而MBR码提供对称、可扩展的修复机制，显著降低I/O瓶颈。
• 研究结果纠正了先前工作中的错误，并将最优修复带宽推广至所有可行的(α, γ)组合，建立了完整的理论基础。