[论文解读] Okapi: Causally Consistent Geo-Replication Made Faster, Cheaper and More Available

Diego Didona, Kristina Spirovska+1 more|arXiv (Cornell University)|Feb 14, 2017

Distributed systems and fault tolerance参考文献 27被引用 12

一句话总结

Okapi 是一种因果一致的地理复制键值存储系统，采用混合逻辑/物理时钟和一种名为通用稳定时间（Universal Stable Time, UST）的新稳定化协议，以消除时钟偏差延迟并减少元数据开销。与 Cure 相比，Okapi 将延迟降低高达 3.5 倍，元数据开销减少 60%，同时在性能上相比 GentleRain 提升了两个数量级。

ABSTRACT

Okapi is a new causally consistent geo-replicated key- value store. Okapi leverages two key design choices to achieve high performance. First, it relies on hybrid logical/physical clocks to achieve low latency even in the presence of clock skew. Second, Okapi achieves higher resource efficiency and better availability, at the expense of a slight increase in update visibility latency. To this end, Okapi implements a new stabilization protocol that uses a combination of vector and scalar clocks and makes a remote update visible when its delivery has been acknowledged by every data center. We evaluate Okapi with different workloads on Amazon AWS, using three geographically distributed regions and 96 nodes. We compare Okapi with two recent approaches to causal consistency, Cure and GentleRain. We show that Okapi delivers up to two orders of magnitude better performance than GentleRain and that Okapi achieves up to 3.5x lower latency and a 60% reduction of the meta-data overhead with respect to Cure.

研究动机与目标

• 解决因果一致的地理复制系统中使用物理时钟时因时钟偏差导致的性能下降问题。
• 在不牺牲一致性或可用性的前提下，减少复制更新的元数据开销。
• 通过确保远程更新仅在全局确认后才暴露，提升网络分区期间的可用性。
• 在读取密集型生产工作负载中，实现对一致因果快照的低延迟事务读取。
• 通过重新思考依赖跟踪和稳定化协议，平衡性能、资源效率和可用性。

提出的方法

• 使用混合逻辑/物理时钟（HLC）为事件打时间戳，实现无需等待物理时钟收敛即可立即分配时间戳。
• 在本地使用依赖向量，以支持高效地多键事务读取和一致的因果快照。
• 实现一种基于通用稳定时间（UST）的稳定化协议，该协议对远程更新使用标量时钟，并仅在全局确认后才强制可见性。
• 通过仅在本地更新中使用依赖向量、在复制更新中使用标量时间戳，将依赖跟踪与稳定化解耦。
• 通过周期性异步通信来分摊稳定化开销，以维持一致性的同时降低实时协调成本。
• 设计系统时将 UST 计算与全局稳定值（GSV）计算结合，以最小化额外通信开销。

实验结果

研究问题

• RQ1 混合逻辑/物理时钟能否消除因果一致的地理复制系统中因时钟偏差导致的延迟开销？
• RQ2 一种对远程更新使用标量时钟的稳定化协议，能否在保持高可用性的前提下减少元数据开销？
• RQ3 在读取密集型和写入密集型工作负载中，更新可见性延迟与元数据效率之间的权衡如何影响整体系统性能？
• RQ4 HLC 与依赖向量的组合在多大程度上能够实现地理复制存储系统中低延迟、可扩展的事务读取？
• RQ5 一种要求更新全局确认的稳定化协议，能否在不产生禁止性通信成本的前提下提升网络分区期间的可用性？

主要发现

• Okapi 通过使用混合逻辑/物理时钟，消除了因时钟偏差等待导致的延迟，从而降低了更新可见性延迟。
• 与最先进的因果一致性系统 Cure 相比，Okapi 将延迟降低高达 3.5 倍，元数据开销减少 60%。
• 在 AWS 上三个地理分布区域的多种工作负载下，Okapi 的性能相比 GentleRain 提升了两个数量级。
• 在读取主导的工作负载中，Okapi 的总通信开销与 Cure 相当；随着写入强度增加，其通信开销低于 Cure，这是由于复制更新的元数据更少。
• Okapi 的稳定化协议通信开销略高于 Cure 和 GentleRain，但实现了显著更高的资源效率和可用性。
• UST 的协议开销通过减少元数据得到分摊，未来通过将 UST 计算与 GSV 计算结合，还可进一步降低开销。