[论文解读] Pure Operation-Based Replicated Data Types

Carlos Baquero, Paulo Sérgio Almeida+1 more|arXiv (Cornell University)|Oct 12, 2017

Distributed systems and fault tolerance参考文献 19被引用 8

一句话总结

本文提出了纯操作型复制数据类型（Pure op-based CRDTs），一种新型的 CRDT 模型，该模型仅传播操作及其参数，完全排除消息中的状态元数据。通过依赖扩展的消息中间件——带标签因果稳定广播（TCSB）来暴露因果关系和稳定性信息，该框架实现了更简单、更高效且语义上明确的操作型 CRDT，其中 PO-Logs 支持对非交换操作的紧凑状态管理。

ABSTRACT

Distributed systems designed to serve clients across the world often make use of geo-replication to attain low latency and high availability. Conflict-free Replicated Data Types (CRDTs) allow the design of predictable multi-master replication and support eventual consistency of replicas that are allowed to transiently diverge. CRDTs come in two flavors: state-based, where a state is changed locally and shipped and merged into other replicas; operation-based, where operations are issued locally and reliably causal broadcast to all other replicas. However, the standard definition of op-based CRDTs is very encompassing, allowing even sending the full-state, and thus imposing storage and dissemination overheads as well as blurring the distinction from state-based CRDTs. We introduce pure op-based CRDTs, that can only send operations to other replicas, drawing a clear distinction from state-based ones. Data types with commutative operations can be trivially implemented as pure op-based CRDTs using standard reliable causal delivery; whereas data types having non-commutative operations are implemented using a PO-Log, a partially ordered log of operations, and making use of an extended API, i.e., a Tagged Causal Stable Broadcast (TCSB), that provides extra causality information upon delivery and later informs when delivered messages become causally stable, allowing further PO-Log compaction. The framework is illustrated by a catalog of pure op-based specifications for classic CRDTs, including counters, multi-value registers, add-wins and remove-wins sets.

研究动机与目标

• 解决标准操作型 CRDT 中的模糊性与低效问题，其中 prepare 函数可能嵌入状态和因果元数据，导致与状态型 CRDT 的界限模糊。
• 通过强制仅传输操作（而非状态）来实现操作型与状态型 CRDT 的清晰分离。
• 利用扩展的消息中间件（TCSB）暴露因果关系和消息稳定性信息，减少 CRDT 中显式状态跟踪的需求。
• 设计一种通用、高效且可组合的框架，用于实现 CRDT，支持交换与非交换操作，且开销最小。
• 提供常见数据类型（如计数器、集合、寄存器）的纯操作型 CRDT 目录，证明其在最终一致性下的正确性与实用性。

提出的方法

• 定义纯操作型 CRDT，使得 prepare 函数仅返回操作名称及其参数，排除任何状态或因果元数据。
• 使用 PO-Log（部分有序日志）作为非交换 CRDT 的内部状态，以保留因果顺序并支持并发操作的处理。
• 引入带标签因果稳定广播（TCSB）消息原语，提供每条消息的因果标签和稳定性通知，以实现 PO-Log 的安全压缩。
• 通过将因果跟踪从 CRDT 状态中解耦，交由消息层处理，使 CRDT 仅专注于操作执行与查询解析。
• 设计效果函数时尽可能使其通用且可交换；对非交换效果，通过因果顺序与稳定化机制使用 PO-Log 操作进行解析。
• 通过因果稳定性支持消息压缩：一旦消息达到因果稳定状态，其因果元数据即可被丢弃，从而减少状态膨胀。

实验结果

研究问题

• RQ1 如何设计操作型 CRDT，使其避免在消息中嵌入状态或因果元数据，从而与状态型 CRDT 明确区分？
• RQ2 需要何种消息原语，才能使纯操作型 CRDT 在不依赖 prepare 函数中状态的前提下，保持正确性与高效性？
• RQ3 部分有序日志（PO-Log）是否能有效管理非交换 CRDT 中的并发操作，同时通过因果稳定性实现高效压缩？
• RQ4 与传统操作型或状态型模型相比，TCSB 原语在多大程度上提升了操作型 CRDT 的效率与简洁性？
• RQ5 纯操作型 CRDT 如何处理集合中的复杂操作（如 clear()），其设计中会产生何种权衡？

主要发现

• 纯操作型 CRDT 消除了在消息中嵌入因果或状态信息的需求，相比经典操作型 CRDT，消息更简单、更高效。
• TCSB 消息原语支持可靠的因果传递，并提供显式稳定性通知，允许安全压缩 PO-Log，从而减少长期状态膨胀。
• 对于交换操作，纯操作型 CRDT 可无需 PO-Log 实现，达到最小开销，简化实现。
• PO-Log 通过保留因果顺序并支持过时检测，确保非交换操作的正确处理，而稳定化机制允许移除冗余的因果元数据。
• 该框架支持一系列实用 CRDT，包括计数器、多值寄存器和加法胜出/删除胜出集合，均具备形式化正确性保证。
• 该模型表明，状态型与操作型 CRDT 可被清晰分离，当 TCSB 可用时，纯操作型 CRDT 能实现更好的模块化与更低的复杂度。