[论文解读] Warp: Lightweight Multi-Key Transactions for Key-Value Stores

Robert Escriva, Bernard Wong+1 more|arXiv (Cornell University)|Sep 25, 2015

Peer-to-Peer Network Technologies参考文献 54被引用 32

一句话总结

Warp 提出了一种无环事务协议，这是一种用于分片键值存储中轻量级、可序列化的多键事务的新协议。通过动态构建依赖数据的服务器链，并支持重叠事务的并发准备，Warp 在 TPC-C 基准测试中实现了比 Sinfonia 的微型事务高 4 倍的吞吐量，且无任何事务回滚，同时达到非事务存储吞吐量的 75%。

ABSTRACT

Traditional NoSQL systems scale by sharding data across multiple servers and by performing each operation on a small number of servers. Because transactions on multiple keys necessarily require coordination across multiple servers, NoSQL systems often explicitly avoid making transactional guarantees in order to avoid such coordination. Past work on transactional systems control this coordination by either increasing the granularity at which transactions are ordered, sacrificing serializability, or by making clock synchronicity assumptions. This paper presents a novel protocol for providing serializable transactions on top of a sharded data store. Called acyclic transactions, this protocol allows multiple transactions to prepare and commit simultaneously, improving concurrency in the system, while ensuring that no cycles form between concurrently-committing transactions. We have fully implemented acyclic transactions in a document store called Warp. Experiments show that Warp achieves 4 times higher throughput than Sinfonia's mini-transactions on the standard TPC-C benchmark with no aborts. Further, the system achieves 75% of the throughput of the non-transactional key-value store it builds upon.

研究动机与目标

• 解决传统多键事务在分布式 NoSQL 系统中可扩展性和性能方面的局限性。
• 克服集中式事务管理器的瓶颈以及跨分片操作的协调开销。
• 在无需静态分析、事务先验知识或时钟同步的情况下，实现高并发性和可序列化。
• 在提供多键 ACID 保证的同时，使性能接近非事务性键值存储。
• 设计一种支持通用、灵活事务工作负载且无分片约束的系统。

提出的方法

• 引入无环事务，一种仅对访问重叠数据的事务进行排序的提交协议，以最小化协调开销。
• 为每个事务动态构建依赖数据的服务器链，减少通信开销并消除中心化协调点。
• 通过利用依赖数据链内的序列化机制，允许多个重叠事务同时准备。
• 使用客户端协调器将键映射到服务器，并在不将应用代码移至服务器的情况下管理事务阶段。
• 采用乐观验证和两阶段提交语义，但通过动态排序实现更高的并发性。
• 以 HyperDex 为基础，通过轻量级修改客户端库和协调器，扩展其事务语义。

实验结果

研究问题

• RQ1 是否可以在无中心化协调的情况下，使分片键值存储中的多键事务实现高度可扩展和高性能？
• RQ2 是否可能在最小化协调开销的同时，支持重叠事务的并发执行，并实现可序列化？
• RQ3 是否可以避免静态分析和事务先验知识，同时仍确保正确性和高并发性？
• RQ4 在真实世界基准测试中，事务性能在多大程度上可以接近非事务性键值存储的性能？
• RQ5 该系统如何处理客户端故障并维持容错能力，而无需依赖复杂的恢复机制？

主要发现

• Warp 在 TPC-C 基准测试中实现的吞吐量是 Sinfonia 微型事务的 4 倍，延迟降低 5 倍。
• 在 TPC-C 工作负载下，系统未发生任何事务回滚，表明具有高并发性和有效的冲突解决能力。
• Warp 实现了底层非事务性键值存储吞吐量的 75%，表明性能开销极小。
• 在操作不相交数据或非重叠时间区间的事务中，协调开销为零，显著提升了可扩展性。
• 无环事务协议通过利用依赖数据的服务器链，实现了多个重叠事务的并发准备。
• 系统在负载增加时表现出良好的可扩展性，性能稳定，未出现集中式事务管理器或协调点的瓶颈。