[论文解读] Regenerating Codes for Errors and Erasures in Distributed Storage

K. V. Rashmi, Nihar B. Shah+2 more|arXiv (Cornell University)|Feb 6, 2012

Advanced Data Storage Technologies参考文献 14被引用 19

一句话总结

本文提出了一种显式再生码，可在分布式存储系统中实现对数据重建和节点修复期间错误与擦除的鲁棒性。通过扩展乘积-矩阵码并引入一个通用鲁棒性条件，作者实现了存储与修复带宽之间的最优权衡，证明了通过从 (d + s + 2t) 个辅助节点下载数据，可使码对最多 s 个擦除和 t 个错误具有鲁棒性。

ABSTRACT

Regenerating codes are a class of codes proposed for providing reliability of data and efficient repair of failed nodes in distributed storage systems. In this paper, we address the fundamental problem of handling errors and erasures during the data-reconstruction and node-repair operations. We provide explicit regenerating codes that are resilient to errors and erasures, and show that these codes are optimal with respect to storage and bandwidth requirements. As a special case, we also establish the capacity of a class of distributed storage systems in the presence of malicious adversaries. While our code constructions are based on previously constructed Product-Matrix codes, we also provide necessary and sufficient conditions for introducing resilience in any regenerating code.

研究动机与目标

• 解决在存在错误与擦除的情况下，确保分布式存储系统中可靠的数据重建与高效节点修复的根本挑战。
• 扩展现有再生码（特别是乘积-矩阵码），使其在不牺牲存储或带宽最优性的情况下，对错误与擦除均具有鲁棒性。
• 建立将任意再生码转换为通用鲁棒码的必要且充分条件。
• 通过推导边界并构造达到这些边界的码，确定在恶意攻击者存在下分布式存储系统的容量。

提出的方法

• 通过在修复和重建过程中将联系的辅助节点数量增加至 (d + s + 2t)，扩展乘积-矩阵码（PM-MSR 和 PM-MBR），以处理错误与擦除，其中 s 为块擦除数量，t 为块错误数量。
• 利用辅助节点数据矩阵的 MDS 编码特性，即使存在 s 个擦除和 t 个错误，也能确保原始数据的恢复，利用最小距离为 (s + 2t + 1) 的特性。
• 通过设置 β′ = 1 并按 β 份复制，构建通用鲁棒的 MBR 码，确保 B′ = kd − (k choose 2) 且 α′ = d，同时使用对称消息矩阵 M。
• 采用类似范德蒙德的编码矩阵 Ψ = [Φ | Σ]，其中 Φ 的任意 k 行与 Ψ 的任意 d 行均线性无关，以确保 MDS 性质。
• 通过证明由辅助节点形成的有效码具有足够的最小距离以纠正 s 个擦除和 t 个错误，证明修复与重建过程保持最优。
• 建立必要且充分条件：仅当辅助节点传递给故障节点的数据仅依赖于辅助节点与故障节点的身份，而不依赖于其他辅助节点时，再生码才可实现通用鲁棒性。

实验结果

研究问题

• RQ1 再生码能否在保持最优存储与带宽效率的同时，对数据重建和节点修复过程中的错误与擦除均具有鲁棒性？
• RQ2 在存在可篡改节点或链路中数据的恶意攻击者时，分布式存储系统的容量是多少？
• RQ3 再生码需满足何种条件，才能被转换为通用鲁棒码？
• RQ4 能否将乘积-矩阵码的鲁棒性扩展至处理任意数量的错误与擦除，而不降低性能？
• RQ5 能否构造显式、最优的码，以实现再生码在错误与擦除鲁棒性方面的理论边界？

主要发现

• 所提出的再生码在存储 α 与修复带宽 dβ 之间实现了最优权衡，即使在存在错误与擦除的情况下，仍满足基本边界等式。
• 对于 MBR 码，通过从 (d + s + 2t) 个辅助节点下载 β 个符号，修复过程可重建故障节点中存储的 α 个符号，纠正最多 s 个擦除和 t 个错误。
• 数据收集者可通过从 (k + s + 2t) 个节点下载数据，重建完整消息 B，从而在重建过程中容忍最多 s 个擦除和 t 个错误。
• 作者证明，再生码可实现通用鲁棒性当且仅当辅助节点传递给故障节点的数据仅依赖于辅助节点与故障节点的身份，而不依赖于其他辅助节点；该条件被乘积-矩阵码满足。
• 该构造实现了在恶意攻击者存在下分布式系统安全存储容量的外边界，尤其在 MBR 点且 d = n − 1 时。
• 提供了显式的数据重建与修复算法，利用扩展辅助数据矩阵的 MDS 解码特性，以纠正错误与擦除。