[论文解读] Scalable Eventually Consistent Counters over Unreliable Networks

Paulo Sérgio Almeida, Carlos Baquero|arXiv (Cornell University)|Jul 11, 2013

Distributed systems and fault tolerance参考文献 20被引用 5

一句话总结

本文提出 Handoff Counters，一种适用于不可靠网络的可扩展、最终一致的 CRDT 计数器，通过本地化节点 ID 条目并支持退役节点的垃圾回收，避免了传统 CRDT 中的身份爆炸问题。通过将协议状态集成到 CRDT 状态中，该方案在保证最终一致性的同时实现 AP（可用性和分区容错性）行为，使其适用于大规模地理复制系统（如网络计数器或社交媒体点赞）。

ABSTRACT

Counters are an important abstraction in distributed computing, and play a central role in large scale geo-replicated systems, counting events such as web page impressions or social network "likes". Classic distributed counters, strongly consistent, cannot be made both available and partition-tolerant, due to the CAP Theorem, being unsuitable to large scale scenarios. This paper defines Eventually Consistent Distributed Counters (ECDC) and presents an implementation of the concept, Handoff Counters, that is scalable and works over unreliable networks. By giving up the sequencer aspect of classic distributed counters, ECDC implementations can be made AP in the CAP design space, while retaining the essence of counting. Handoff Counters are the first CRDT (Conflict-free Replicated Data Type) based mechanism that overcomes the identity explosion problem in naive CRDTs, such as G-Counters (where state size is linear in the number of independent actors that ever incremented the counter), by managing identities towards avoiding global propagation and garbage collecting temporary entries. The approach used in Handoff Counters is not restricted to counters, being more generally applicable to other data types with associative and commutative operations.

研究动机与目标

• 解决在大规模、地理复制系统中使用不可靠网络时，朴素 CRDT 计数器的可扩展性限制。
• 设计一种分布式计数器，保持可用性和分区容错性（AP），并通过最终一致性确保正确性。
• 克服 CRDT 中的身份爆炸问题，即由于持续跟踪所有客户端 ID（包括已退役的）而导致的状态膨胀。
• 在不损害任意消息丢失或重排序情况下的正确性前提下，实现对退役节点的临时条目的高效垃圾回收。
• 将该方法推广至其他具有结合律和交换律操作的数据类型。

提出的方法

• 该方法采用基于 CRDT 的设计，将协议状态（如交接信息）直接嵌入 CRDT 状态中，从而将持久状态与临时计算状态解耦。
• 引入分层结构，每个客户端对应一个层级 0 条目，更高层级进行聚合，将全局可见标识符数量限制为仅活跃参与者。
• 在不可靠网络上使用分布式 Gossip 协议，由于状态的单调演化，消息重复、重排序或丢失不会影响正确性。
• 系统区分持久状态（崩溃后仍保留）与临时状态（用于计算），从而实现对退役节点的安全垃圾回收。
• 合并操作被设计为结合律和交换律，确保无论消息顺序或交付时间如何，副本之间都能收敛。
• 协议通过将所有消息视为幂等状态更新，避免依赖原子或仅一次消息传递，旧版本状态被新版本状态所覆盖。

实验结果

研究问题

• RQ1 能否构建一种可扩展、最终一致的计数器，避免朴素 CRDT 计数器固有的身份爆炸问题？
• RQ2 如何扩展 CRDT 以支持在不可靠通信环境下对退役节点的垃圾回收，同时保持正确性？
• RQ3 是否可能在不依赖强一致性或分布式事务的前提下，实现计数器的 AP 行为？
• RQ4 CRDT 模型能否推广至其他具有结合律和交换律操作的数据类型，而不仅限于计数器？
• RQ5 如何将协议状态集成到 CRDT 状态中，以提升在不可靠网络中的容错性和可扩展性？

主要发现

• Handoff Counters 通过本地化节点 ID 条目实现可扩展性，将层级 0 条目数量限制为仅活跃参与者，从而避免全局状态膨胀。
• 系统可在正常操作期间对退役节点的条目执行垃圾回收，减少长期状态膨胀，且不损害正确性。
• 由于状态的单调演化，该方法能容忍任意消息丢失、重排序和重复，因此在不可靠网络上具有鲁棒性。
• 即使在网络分区或节点故障情况下，该方案仍能提供最终一致性，且不会出现重复计数或计数丢失。
• 该设计可推广至涉及结合律和交换律操作的其他数据类型，而不仅限于计数器。
• 与基于服务器的 CRDT 相比，该方法通过仅需一个可访问服务器即可维持可用性，而非多数服务器，从而提升了可用性。