[论文解读] Performance and Fault Tolerance in the StoreTorrent Parallel Filesystem

Federico D. Sacerdoti|arXiv (Cornell University)|Jan 21, 2010

Advanced Data Storage Technologies参考文献 21被引用 4

一句话总结

StoreTorrent 是一种并行文件系统，专为在普通硬件上高效处理小数据记录而设计，通过应用-操作系统流水线处理和对等节点间副本索引共享，提升性能与容错能力。在70个节点的集群上，其并行小文件写入性能达到1.69 GB/s，网络读取性能达到8.47 GB/s，优于PVFS和Gluster在两项基准测试中的表现。

ABSTRACT

With a goal of supporting the timely and cost-effective analysis of Terabyte datasets on commodity components, we present and evaluate StoreTorrent, a simple distributed filesystem with integrated fault tolerance for efficient handling of small data records. Our contributions include an application-OS pipelining technique and metadata structure to increase small write and read performance by a factor of 1-10, and the use of peer-to-peer communication of replica-location indexes to avoid transferring data during parallel analysis even in a degraded state. We evaluated StoreTorrent, PVFS, and Gluster filesystems using 70 storage nodes and 560 parallel clients on an 8-core/node Ethernet cluster with directly attached SATA disks. StoreTorrent performed parallel small writes at an aggregate rate of 1.69 GB/s, and supported reads over the network at 8.47 GB/s. We ported a parallel analysis task and demonstrate it achieved parallel reads at the full aggregate speed of the storage node local filesystems.

研究动机与目标

• 利用普通硬件实现成本效益高、及时处理千兆字节级数据集的分析。
• 解决分布式文件系统中小记录 I/O 的性能瓶颈问题。
• 在降级状态下不牺牲 I/O 性能的前提下，提升容错能力。
• 通过节点间对等通信共享副本位置索引，消除并行分析过程中的数据传输。
• 在真实并行工作负载中展示端到端的性能提升。

提出的方法

• 采用应用-操作系统流水线处理，将应用层 I/O 与操作系统级系统调用重叠，降低小文件写入的延迟。
• 设计专用元数据结构，优化小记录元数据的快速查找与更新。
• 在存储节点之间通过点对点方式交换副本位置索引，实现在并行读取过程中无需数据传输即可访问数据。
• 在节点间复制元数据与数据，确保高可用性与容错能力。
• 将文件系统集成到由70个节点、每节点8核的以太网集群构成的环境中，使用直接连接的SATA磁盘。
• 使用560个并行客户端对PVFS和Gluster进行基准测试，评估写入与读取性能。

实验结果

研究问题

• RQ1 应用-操作系统流水线处理是否能显著提升分布式文件系统中对小记录写入的性能？
• RQ2 在节点降级或故障状态下，对等节点间共享副本位置索引是否能完全消除并行分析过程中的数据传输？
• RQ3 基于普通硬件的并行文件系统在小文件场景下可达到的聚合 I/O 性能是多少？
• RQ4 与 PVFS 和 Gluster 等现有系统相比，StoreTorrent 在写入与读取吞吐量方面表现如何？
• RQ5 容错文件系统在节点故障或网络降级情况下是否仍能保持高性能？

主要发现

• StoreTorrent 在70个节点上实现了1.69 GB/s的聚合并行小文件写入性能，显著优于基线系统。
• 系统在网络层面维持了8.47 GB/s的并行读取性能，接近存储节点本地文件系统聚合带宽。
• 通过使用对等节点间副本索引共享机制，即使在部分节点降级或故障时，也能实现无需数据传输的并行分析。
• 应用-操作系统流水线处理与优化的元数据结构使小 I/O 操作性能提升了1至10倍。
• 移植的并行分析任务实现了与本地存储子系统聚合速度相当的数据读取速率，证实了端到端的性能效率。
• 在相同测试条件下，StoreTorrent 在写入与读取工作负载中均优于 PVFS 和 Gluster。