[论文解读] RCanopus: Making Canopus Resilient to Failures and Byzantine Faults

Srinivasan Keshav, Wojciech Golab+3 more|arXiv (Cornell University)|Oct 22, 2018

Distributed systems and fault tolerance参考文献 13被引用 6

一句话总结

RCanopus 通过将节点分组为地理上集中的拜占庭组（BGs），在地理分布系统中扩展了 Canopus 一致性协议，以实现拜占庭容错和活性，这些 BGs 通过流水线处理、单周期延迟提交和基于法定人数的验证实现并行一致性，从而确保安全性和对崩溃、拜占庭故障及网络分区的弹性应对。

ABSTRACT

Distributed consensus is a key enabler for many distributed systems including distributed databases and blockchains. Canopus is a scalable distributed consensus protocol that ensures that live nodes in a system agree on an ordered sequence of operations (called transactions). Unlike most prior consensus protocols, Canopus does not rely on a single leader. Instead, it uses a virtual tree overlay for message dissemination to limit network traffic across oversubscribed links. It leverages hardware redundancies, both within a rack and inside the network fabric, to reduce both protocol complexity and communication overhead. These design decisions enable Canopus to support large deployments without significant performance degradation. The existing Canopus protocol is resilient in the face of node and communication failures, but its focus is primarily on performance, so does not respond well to other types of failures. For example, the failure of a single rack of servers causes all live nodes to stall. The protocol is also open to attack by Byzantine nodes, which can cause different live nodes to conclude the protocol with different transaction orders. In this paper, we describe RCanopus (`resilent Canopus') which extends Canopus to add liveness, that is, allowing live nodes to make progress, when possible, despite many types of failures. This requires RCanopus to accurately detect and recover from failure despite using unreliable failure detectors, and tolerance of Byzantine attacks. Second, RCanopus guarantees safety, that is, agreement amongst live nodes of transaction order, in the presence of Byzantine attacks and network partitioning.

研究动机与目标

• 设计一种在拜占庭故障和网络分区下仍能保持安全性和活性的弹性地理分布一致性协议。
• 通过在地理分组的拜占庭组（BGs）之间实现并行一致性，克服传统 BFT 协议的可扩展性限制。
• 通过引入单周期延迟机制，确保在故障和分区期间的安全性，实现状态提交。
• 在不牺牲吞吐量的前提下，容忍多种故障类型，包括节点崩溃、拜占庭行为和网络分区。
• 与现有可扩展一致性模式（如流水线处理和基于树的通信分发）无缝集成。

提出的方法

• 将节点分组为机架内的超级叶节点（SLs），并将 SLs 集群化为拜占庭组（BGs），以实现组内快速一致性。
• 以 Canopus 协议为基础，利用其流水线化、基于轮次、基于树状拓扑的通信模式，实现高吞吐量。
• 实现单周期延迟提交机制，通过验证失败或拜占庭 BG 在前一周期结束时仍为活跃状态，确保安全性。
• 采用基于法定人数的验证机制，用于模拟器响应和消息完整性，要求证书以防止拜占庭节点欺骗。
• 使用全局 BFT 一致性协议排除故障或隔离的 BG，确保当多数组正常运行时系统保持活性。
• 集成故障检测器和重试机制以应对瞬时故障，同时依赖原子广播和批处理计时器保障可靠性。

实验结果

研究问题

• RQ1 如何在大规模部署中，使地理分布一致性协议在拜占庭故障和网络分区下仍能保持安全性和活性？
• RQ2 哪些机制能够在不依赖带外一致性的情况下，实现节点崩溃和提前退出情况下的安全状态提交？
• RQ3 如何将地理隔离的拜占庭组之间的流水线处理和并行一致性与 BFT 保证相结合？
• RQ4 单周期延迟提交机制在故障或拜占庭行为发生时，如何确保安全性？
• RQ5 如何通过基于法定人数的验证和证书机制，防止拜占庭节点污染全局状态？

主要发现

• 单周期延迟提交机制通过要求 BG 仅在确认另一 BG 在前一周期结束时仍为活跃状态后，才提交其状态，从而确保安全性。
• RCanopus 通过利用 Canopus 的流水线化、基于树的通信模式，在多个拜占庭组（BGs）之间实现并行一致性执行，从而保持高吞吐量。
• 协议可容忍每个 BG 中最多 f 个拜占庭故障，并能通过达成全局 BFT 一致性来排除故障或隔离的 BG，从而实现网络分区后的恢复。
• 通过要求所有模拟器响应均附带法定人数证书，RCanopus 防止拜占庭节点伪造事务顺序或状态。
• 系统通过延迟提交和重试机制在常见情况下确保活性，仅在极少数需要 BFT 排除共识的故障场景下才会阻塞。
• RCanopus 有效将 Canopus 的可扩展性和性能扩展至容错的地理分布部署，同时不牺牲安全性或一致性保证。