[论文解读] Repairing Multiple Failures with Coordinated and Adaptive Regenerating Codes

Anne-Marie Kermarrec, Gilles Straub+1 more|arXiv (Cornell University)|Feb 1, 2011

Advanced Data Storage Technologies被引用 78

一句话总结

本文提出协同自适应再生码，以优化分布式存储系统中多个故障的并行修复。通过使设备协同修复并动态调整参数，该编码在存储与修复带宽之间实现了最优权衡，同时表明懒修复可降低磁盘I/O，但不会降低网络修复成本。

ABSTRACT

Erasure correcting codes are widely used to ensure data persistence in distributed storage systems. This paper addresses the simultaneous repair of multiple failures in such codes. We go beyond existing work (i.e., regenerating codes by Dimakis et al.) by describing (i) coordinated regenerating codes (also known as cooperative regenerating codes) which support the simultaneous repair of multiple devices, and (ii) adaptive regenerating codes which allow adapting the parameters at each repair. Similarly to regenerating codes by Dimakis et al., these codes achieve the optimal tradeoff between storage and the repair bandwidth. Based on these extended regenerating codes, we study the impact of lazy repairs applied to regenerating codes and conclude that lazy repairs cannot reduce the costs in term of network bandwidth but allow reducing the disk-related costs (disk bandwidth and disk I/O).

研究动机与目标

• 解决现有再生码无法支持多个故障并行修复的局限性。
• 设计一种可根据当前系统状态动态调整参与修复的节点数（d）和同时修复的故障数（t）的修复机制。
• 分析懒修复（延迟修复）对再生码系统中网络与磁盘相关修复成本的影响。
• 建立协同自适应再生码的理论基础，实现最优修复带宽与存储权衡。

提出的方法

• 提出协同再生码（协作再生码），其中t>1个故障节点同时联系d个正常节点，并协同重建丢失数据。
• 推导出当t>1个故障发生时，协同修复过程中最优数据传输量的闭式表达式。
• 引入自适应再生码，允许根据当前系统状态动态调整d和t，实现在动态环境下的最优修复。
• 分析懒修复（推迟修复）对网络带宽与磁盘I/O的影响，明确区分网络与磁盘相关成本。
• 采用功能修复模型并保持最优修复带宽，基于Dimakis等人提出的再生码框架。
• 将模型扩展至与本地可修复码结合，提出一类新型码，支持从n−1个可用节点中的任意d个节点进行本地修复。

实验结果

研究问题

• RQ1 协同再生码在多个节点同时故障时能否实现最优修复带宽？修复过程如何随t和d变化？
• RQ2 在真实世界中动态变化的存储环境中，能够动态调整d和t的自适应再生码是否优于静态再生码？
• RQ3 在再生码系统中，延迟修复是否能降低网络修复带宽，如同在传统纠错码中那样？
• RQ4 尽管未降低网络成本，懒修复是否能减少再生码系统中的磁盘相关修复成本（如I/O与磁盘带宽）？
• RQ5 如何将再生码与本地可修复码结合，以创建一种同时支持全局与本地修复效率的新码类？

主要发现

• 协同再生码在并行修复多个故障时实现了存储与修复带宽之间的最优权衡，将Dimakis等人关于t>1故障的结果进行了扩展。
• 自适应再生码能动态调整d和t，以在不同系统条件下维持最优修复性能，适用于实际部署。
• 懒修复在再生码中不会降低网络修复带宽，与传统纠错码中的发现相矛盾，后者中此类延迟是有益的。
• 然而，懒修复显著降低了磁盘相关修复成本，包括磁盘I/O与磁盘带宽，原因是修复期间磁盘访问频率降低。
• 本文指出，自适应再生码在MBR（最小带宽再生）点无实际意义，明确了该方法的理论边界。
• 提出一类新型码——本地可修复再生码，支持从d个可用节点中的任意r个节点进行本地修复，结合了再生码与本地可修复码的优势。