[论文解读] Shoal: Improving DAG-BFT Latency And Robustness

Alexander Spiegelman, Balaji Aurn+2 more|arXiv (Cornell University)|Jun 5, 2023

Distributed systems and fault tolerance被引用 13

一句话总结

Shoal 为基于 Narwhal 的 DAG-BFT 增加了领导者信誉和流水线化，降低了延迟（在无故障运行中最高降幅达 40%，在发生故障时最高降幅达 80%），并通过普遍的响应性提升鲁棒性。

ABSTRACT

The Narwhal system is a state-of-the-art Byzantine fault-tolerant scalable architecture that involves constructing a directed acyclic graph (DAG) of messages among a set of validators in a Blockchain network. Bullshark is a zero-overhead consensus protocol on top of the Narwhal's DAG that can order over 100k transactions per second. Unfortunately, the high throughput of Bullshark comes with a latency price due to the DAG construction, increasing the latency compared to the state-of-the-art leader-based BFT consensus protocols. We introduce Shoal, a protocol-agnostic framework for enhancing Narwhal-based consensus. By incorporating leader reputation and pipelining support for the first time, Shoal significantly reduces latency. Moreover, the combination of properties of the DAG construction and the leader reputation mechanism enables the elimination of timeouts in all but extremely uncommon scenarios in practice, a property we name Prevalent Responsiveness" (it strictly subsumes the established and often desired Optimistic Responsiveness property for BFT protocols). We integrated Shoal instantiated with Bullshark, the fastest existing Narwhal-based consensus protocol, in an open-source Blockchain project and provide experimental evaluations demonstrating up to 40% latency reduction in the failure-free executions, and up-to 80% reduction in executions with failures against the vanilla Bullshark implementation.

研究动机与目标

• 在实际操作中激励在不牺牲安全的前提下降低基于 Narwhal 的 DAG-BFT 的延迟。
• 开发一个与协议无关的框架，将领导者信誉和流水线化引入基于 Narwhal 的协议。
• 通过消除常见故障场景中的超时，实现近乎持续的进展。
• 利用基于 Narwhal 的协议的现有特性来证明 Shoal 的正确性。
• 在接近真实的区块链设置中评估实际性能改进。

提出的方法

• 将 Shoal 作为一个在基于 Narwhal 的共识协议（DAG-Rider、Tusk、Bullshark）之上的协议无关框架引入。
• 采用两阶段方法：(i) 通过重新解释 DAG 以从第一个有序锚点启动新的协议实例来实现流水线化，(ii) 通过领导者信誉基于历史活动偏置轮次领导。
• 通过属性1保证正确性：如果诚实的验证者在锚点-领导者映射上达成一致，他们将就第一个按顺序的锚点达成一致。
• 结合一个确定性函数 F 将轮次映射到锚点，并在每个有序锚点之后更新 F。
• 实现实际的改进，例如消除超时（普遍的响应性）。
• 提供与 Bullshark 集成的开源实现以评估延迟改进。

Figure 1 . A possible local view of a round-based DAG. The causal history of the vertex identified by validator 2 in round 2 is highlighted in green.

实验结果

研究问题

• RQ1 Shoal 是否能够在不妥协安全性的前提下减少基于 Narwhal 的 DAG-BFT 的排序延迟？
• RQ2 领导者信誉与流水线化如何在实践中共同提高活性（可用性）和吞吐量？
• RQ3 在无故障与故障场景下可以实现哪些可量化的延迟改进？
• RQ4 在 Shoal 下消除超时是否在降低延迟的同时保持安全？
• RQ5 在真实或生产环境类似设置中将 Shoal 实例化为 Bullshark 时的性能表现如何？

主要发现

• 与原生 Bullshark 相比，Shoal 在无故障执行中实现高达 40% 的延迟降低。
• 在发生故障的执行中，Shoal 相较于原生 Bullshark 实现高达 80% 的延迟降低。
• 领导者信誉有助于筛选慢速/崩溃的验证者，使 DAG 按网络速度推进。
• 流水线化保证每轮都存在一个锚点，通过交错协议实例来减少峰值延迟。
• 消除超时在常见条件下进一步降低延迟并简化实现。
• 该框架是协议无关的，可以应用于 DAG-Rider、Tusk 和 Bullshark。

Figure 2 . A possible local view of the DAG in the partially synchronous Bullshark protocol. Filled squares represent the pre-defined anchors. In this example, the validator orders the red and yellow anchors, while the green (which is not in the DAG) anchor is skipped. To order the DAG, the validato