[论文解读] Repair Pipelining for Erasure-Coded Storage: Algorithms and Evaluation

Xiaolu Li, Zuoru Yang+5 more|arXiv (Cornell University)|Aug 5, 2019

Advanced Data Storage Technologies被引用 4

一句话总结

本文提出了一种修复流水线技术，通过以流水线方式在节点间调度小数据片，将单块擦除编码存储的修复时间减少到几乎与普通读取相同。该技术在异构、分层及多块修复场景下均实现了近乎最优的修复性能，实验结果表明在HDFS和QFS中显著提升了修复速度。

ABSTRACT

We propose repair pipelining, a technique that speeds up the repair performance in general erasure-coded storage. By carefully scheduling the repair of failed data in small-size units across storage nodes in a pipelined manner, repair pipelining reduces the single-block repair time to approximately the same as the normal read time for a single block in homogeneous environments. We further design different extensions of repair pipelining algorithms for heterogeneous environments and multi-block repair operations. We implement a repair pipelining prototype, called ECPipe, and integrate it as a middleware system into two versions of Hadoop Distributed File System (HDFS) (namely HDFS-RAID and HDFS-3) as well as Quantcast File System (QFS). Experiments on a local testbed and Amazon EC2 show that repair pipelining significantly improves the performance of degraded reads and full-node recovery over existing repair techniques.

研究动机与目标

• 解决擦除编码存储中高修复开销的问题，尽管其存储效率高，但该问题限制了其在热数据中的应用。
• 克服单块修复速度慢于普通读取的瓶颈，原因在于过度读取数据和消耗过多带宽。
• 通过将修复时间减少到接近正常读取性能，使擦除编码可用于热数据，从而在不牺牲访问速度的前提下提升存储效率。
• 将修复流水线扩展至支持异构环境、分层数据中心和多块修复操作。
• 设计并实现一种实用的中间件系统（ECPipe），可集成到现有分布式存储系统（如HDFS和QFS）中。

提出的方法

• 将每个块分解为小尺寸的数据片，以实现在多个存储节点上的细粒度、流水线式修复。
• 采用类似虫洞路由的流水线方式调度数据片修复，以平衡带宽使用并最小化节点空闲时间。
• 应用并行读取和加权路径选择，以优化在链路带宽不同的异构环境中的修复性能。
• 通过名为ECPipe的中间件原型，将修复流水线集成到HDFS-RAID、HDFS-3和QFS中，实现向后兼容。
• 支持多种擦除码（包括Reed-Solomon和本地重构码），确保广泛适用性。
• 通过利用并行性和分层拓扑感知能力，将该方法扩展至完整节点恢复和多块修复。

实验结果

研究问题

• RQ1 修复流水线能否将擦除编码存储中单块修复时间减少到几乎与单个块的普通读取时间相同？
• RQ2 如何将修复流水线扩展到具有不同节点间网络带宽的异构环境？
• RQ3 修复流水线能否有效应用于分层数据中心拓扑，以最小化跨机架修复流量，同时降低修复延迟？
• RQ4 在多块修复场景下，修复流水线的性能如何，特别是在条带中多个块同时失效的情况下？
• RQ5 当集成到HDFS和QFS等生产级系统中时，修复流水线的实际性能提升如何？

主要发现

• 在同构环境中，修复流水线将单块修复时间减少到与单个块的普通读取时间几乎相同。
• 该技术显著提升了降级读取性能，与传统修复方法相比，修复延迟最高可降低70%。
• 在Amazon EC2实验中，修复流水线在完整节点恢复中相比标准擦除编码修复实现了高达5.2倍的速度提升。
• ECPipe原型成功集成到HDFS-RAID和HDFS-3中，表现出极低开销，并与现有系统无缝兼容。
• 该方法在分层拓扑中保持了最小的跨机架修复流量，同时进一步降低了修复时间，优于先前的拓扑感知方案（如CAR和LAR）。
• 评估表明，修复流水线使擦除编码可用于热数据，而此前由于修复延迟问题，擦除编码仅限于冷数据使用。