[论文解读] Technical Report: Optimistic Execution in Key-Value Store

Duong Nguyen, Aleksey Charapko+2 more|arXiv (Cornell University)|May 25, 2018

Distributed systems and fault tolerance参考文献 46被引用 3

一句话总结

本文提出一种检测-回滚方法，使为顺序一致性设计的应用程序能够安全地在Voldemort等最终一致性键值存储上运行。通过监控正确性谓词（例如图处理中的互斥性），系统检测违规行为并回滚至先前的一致状态，从而在区域网络中实现50–80%的吞吐量提升，监控开销低于4%，检测延迟低于50毫秒。

ABSTRACT

Limitations of the CAP theorem imply that if availability is desired in the presence of network partitions, one must sacrifice sequential consistency, a consistency model that is more natural for system design. We focus on the problem of what a designer should do if he/she has an algorithm that works correctly with sequential consistency but is faced with an underlying key-value store that provides a weaker (e.g., eventual or causal) consistency. We propose a detect-rollback based approach: The designer identifies a correctness predicate, say $P$, and continues to run the protocol, as our system monitors $P$. If $P$ is violated (because the underlying key-value store provides a weaker consistency), the system rolls back and resumes the computation at a state where $P$ holds. We evaluate this approach with practical graph applications running on the Voldemort key-value store. Our experiments with deployment on Amazon AWS EC2 instances shows that using eventual consistency with monitoring can provide a $50-80\%$ increase in throughput when compared with sequential consistency. We also show that the overhead of the monitoring itself is low (typically less than 4\%) and the latency of detecting violations is small. In particular, more than $99.9\%$ of violations are detected in less than $50$ milliseconds in regional AWS networks, and in less than $5$ seconds in global AWS networks.

研究动机与目标

• 解决在最终一致性或因果一致性键值存储上运行依赖顺序一致性的应用程序的挑战。
• 通过支持回滚恢复机制，减少为弱一致性模型重新设计算法的需求。
• 评估在真实世界分布式应用程序中，谓词监控的性能、开销和检测延迟。
• 证明在发生网络分区时，监控机制可在保持正确性的同时带来显著的性能提升。

提出的方法

• 系统使用轻量级、非侵入式监控模块，监控正确性谓词P（例如图处理中的局部互斥性）。
• 通过混合向量时钟实现谓词检测，以减少误报并提高效率。
• P的违规行为会触发回滚至最近的一致快照，该功能由现有的低开销回滚系统（如Retroscope）支持。
• 该方法支持线性和半线性谓词，其算法基于先前关于分布式谓词检测的研究成果。
• 监控功能集成到Voldemort键值存储中，实验在AWS EC2上进行，以评估真实世界性能。
• 系统利用Voldemort中的主动复制机制，使客户端能够根据监控反馈动态切换一致性级别。

实验结果

研究问题

• RQ1 能否通过运行时监控与回滚机制，安全地在最终一致性键值存储上执行为顺序一致性设计的应用程序？
• RQ2 在分布式键值存储中监控正确性谓词的性能开销是多少？
• RQ3 在区域和全球网络拓扑中，谓词违规的检测速度如何？
• RQ4 与使用顺序一致性相比，监控机制在多大程度上提升了吞吐量？
• RQ5 该监控框架是否不仅能用于保证正确性，还能用于动态一致性级别自适应？

主要发现

• 在图处理工作负载中，使用最终一致性而非顺序一致性时，检测-回滚方法实现了50–80%的吞吐量提升。
• 在正常条件下，监控开销始终低于4%；在压力实验中低于8%。
• 在区域AWS网络中，超过99.9%的谓词违规在50毫秒内被检测到。
• 全球网络的检测延迟保持在5秒以内，最大限度减少了因回滚造成的计算浪费。
• 谓词违规次数极少，表明该方法在发生网络分区时依然具有实际可行性。
• 监控反馈支持动态适应，例如在网络长时间不稳定时切换至顺序一致性。