[论文解读] Taming Tail Latency for Erasure-coded, Distributed Storage Systems

Vaneet Aggarwal, Abubakr O. Al-Abbasi+2 more|arXiv (Cornell University)|Mar 24, 2017

Advanced Data Storage Technologies参考文献 19被引用 13

一句话总结

本文提出了一种概率调度与优化框架，通过联合建模文件放置、访问概率和请求调度，以最小化纠错编码分布式存储系统中的尾部延迟。利用拉普拉斯-史蒂尔杰斯变换对尾部延迟进行闭式上界分析，并结合交替优化方法，该方法在真实工作负载下显著降低了99.9百分位延迟。

ABSTRACT

Distributed storage systems are known to be susceptible to long tails in response time. In modern online storage systems such as Bing, Facebook, and Amazon, the long tails of the service latency are of particular concern. with 99.9th percentile response times being orders of magnitude worse than the mean. As erasure codes emerge as a popular technique to achieve high data reliability in distributed storage while attaining space efficiency, taming tail latency still remains an open problem due to the lack of mathematical models for analyzing such systems. To this end, we propose a framework for quantifying and optimizing tail latency in erasure-coded storage systems. In particular, we derive upper bounds on tail latency in closed form for arbitrary service time distribution and heterogeneous files. Based on the model, we formulate an optimization problem to jointly minimize the weighted latency tail probability of all files over the placement of files on the servers, and the choice of servers to access the requested files. The non-convex problem is solved using an efficient, alternating optimization algorithm. Numerical results show significant reduction of tail latency for erasure-coded storage systems with a realistic workload.

研究动机与目标

• 解决纠错编码分布式存储系统中高尾部延迟的关键挑战，其中99.9百分位响应时间可能比平均值差几个数量级。
• 识别出尾部延迟主要由最慢的存储节点主导，并且在共享服务器上并发块请求的干扰下进一步加剧。
• 制定一个联合优化问题，涵盖文件放置（S）、访问概率（π）和调度阈值（t），以最小化异构文件上的加权尾部延迟概率。
• 设计一种可扩展的分析模型，利用拉普拉斯-史蒂尔杰斯变换和顺序统计量，对任意服务时间分布下的尾部延迟进行边界约束。
• 设计一种高效的交替优化算法，以求解非凸优化问题，并通过仿真验证性能提升。

提出的方法

• 使用概率调度策略建模系统：在文件请求时，将k个块请求分配给从n个存储节点中按预设概率选出的k个节点。
• 利用拉普拉斯-史蒂尔杰斯变换（LST）刻画每个存储节点的边际排队延迟分布，从而实现对尾部延迟的可处理分析。
• 通过顺序统计量和随机优势关系，推导出适用于任意服务时间分布和异构文件大小的尾部延迟闭式上界。
• 制定一个非凸优化问题，联合最小化文件放置（S）、访问概率（π）和调度阈值（t）的加权尾部延迟概率。
• 应用交替优化算法，迭代更新S、π和t，同时固定其他变量，确保收敛至局部最优解。
• 在移位指数服务模型中集成工作负载感知参数（α, β），以反映文件大小对块处理时间的影响。

实验结果

研究问题

• RQ1 在任意服务时间分布和异构文件工作负载下，纠错编码分布式存储系统中的尾部延迟能否实现可分析的边界约束？
• RQ2 联合优化文件放置、访问概率和调度阈值对最小化加权尾部延迟有何影响？
• RQ3 在高系统负载下，概率调度能否优于确定性策略（如最小队列长度选择）以减少尾部延迟？
• RQ4 文件到达率、文件大小和延迟敏感权重如何影响整体尾部延迟性能？
• RQ5 与基线策略（如PEAP和WLTP）相比，所提出的优化方法在降低99.9百分位延迟方面能达到多大程度的改善？

主要发现

• 所提出的优化框架在所有文件组中显著降低了加权尾部延迟概率，且在所有评估场景下均优于基线策略（如PEAP和WLTP）。
• 仿真结果表明，该算法能有效最小化高到达率和高敏感度文件的尾部延迟，最敏感的文件组（ω₃）在更高负载下仍实现了最低的尾部延迟概率。
• 文件数量从200增加到1200时，加权尾部延迟概率上升，但该优化算法通过联合重新优化文件放置和访问策略，有效保持了较低的性能退化。
• 更大的文件大小（最高达700 MB）会增加尾部延迟，但所提算法通过优化调度与放置策略，显著降低了尾部延迟概率，优于基线方法。
• 在不同到达率和文件数量下，该算法的尾部延迟均低于PEAP和WLTP，表明其在动态工作负载下具有强鲁棒性。
• 交替优化算法收敛迅速，支持文件放置、访问概率和调度阈值的联合优化，实现在真实工作负载中的可测量性能提升。