[论文解读] Toward a Principled Framework for Benchmarking Consistency

Muntasir Raihan Rahman, Wojciech Golab+3 more|arXiv (Cornell University)|Nov 19, 2012

Distributed systems and fault tolerance参考文献 28被引用 55

一句话总结

本文提出了一种以客户端为中心、非侵入式的基准测试框架，用于衡量Cassandra等最终一致性键值系统中的实际数据一致性。通过扩展YCSB以使用$Δ$-原子性度量追踪读取延迟，该方法以极低的性能开销捕捉了现实世界中的一致性行为，揭示了Cassandra表现出长尾型延迟，典型值接近1ms，但最坏情况下的延迟可达233ms。

ABSTRACT

Large-scale key-value storage systems sacrifice consistency in the interest of dependability (i.e., partition tolerance and availability), as well as performance (i.e., latency). Such systems provide eventual consistency,which---to this point---has been difficult to quantify in real systems. Given the many implementations and deployments of eventually-consistent systems (e.g., NoSQL systems), attempts have been made to measure this consistency empirically, but they suffer from important drawbacks. For example, state-of-the art consistency benchmarks exercise the system only in restricted ways and disrupt the workload, which limits their accuracy. In this paper, we take the position that a consistency benchmark should paint a comprehensive picture of the relationship between the storage system under consideration, the workload, the pattern of failures, and the consistency observed by clients. To illustrate our point, we first survey prior efforts to quantify eventual consistency. We then present a benchmarking technique that overcomes the shortcomings of existing techniques to measure the consistency observed by clients as they execute the workload under consideration. This method is versatile and minimally disruptive to the system under test. As a proof of concept, we demonstrate this tool on Cassandra.

研究动机与目标

• 解决在最终一致性键值系统真实部署中缺乏准确、非干扰性一致性测量方法的问题。
• 克服现有基准测试因注入操作而扭曲系统行为、导致最坏情况或不准确一致性测量的局限性。
• 提供一种与系统无关、以客户端为中心的方法，反映客户端在真实工作负载下实际观察到的一致性行为。
• 通过量化生产环境类似设置下性能与一致性之间的权衡，指导系统配置与部署决策。
• 通过测量实际观察到的一致性而非理论或最坏情况的一致性，实现不同一致性模型与实现之间的公平比较。

提出的方法

• 扩展YCSB基准测试框架，通过毫秒级精度时钟记录每次读写操作的精确开始和结束时间。
• 引入一个评分函数$\chi$，基于$Δ$-原子性模型量化读取操作返回数据的延迟程度，该模型测量写操作完成与读操作响应之间的时间差。
• 使用$\chi$度量计算每次读取操作的相对延迟，支持一致性行为的直方图和时间序列可视化。
• 在Cassandra上应用该方法，采用读取密集型（80% get，20% put）工作负载并使用热键，以模拟真实世界访问模式。
• 通过随机采样键来计算$\chi$和$\Delta$，对键空间的子集进行测量，实现可扩展性，无需完全仪器化。
• 测量仪器化的性能开销，发现其低于5%，确保对被测系统干扰极小。

实验结果

研究问题

• RQ1 如何在不干扰工作负载的前提下，准确测量最终一致性键值系统中的一致性？
• RQ2 与最坏情况行为相比，客户端在真实部署中实际观察到的数据延迟分布是什么样的？
• RQ3 在真实、读取密集型工作负载下，Cassandra的一致性行为如何随时间变化，以及在不同键之间有何差异？
• RQ4 当前仪器化对系统性能的影响程度如何，是否可视为非侵入式？
• RQ5 一种与系统无关、以客户端为中心的度量能否捕捉不同配置或一致性模型之间的一致性差异？

主要发现

• 基准测试揭示，Cassandra表现出长尾型的延迟分布，大多数读取操作在最新写入后1ms内返回数据，但部分操作的延迟最高可达233ms。
• 在时间序列可视化中，大多数延迟值集中在x轴附近，表明大多数读取操作是一致的，但偶尔观察到‘不一致峰值’。
• 仪器化的性能开销低于5%，证明该方法干扰极小，适用于类似生产环境的评估。
• $\chi$度量成功捕捉了不同键之间数据的相对延迟，支持对一致性行为的分布和时间特性分析。
• 结果表明，配置决策（如复制因子和多数写入大小）可基于实测一致性数据，而非凭经验猜测。
• 该方法能够实现对不同键值系统和一致性模型之间一致性行为的准确、与系统无关的比较。