[论文解读] Performance Evaluation of the Quorum Blockchain Platform

Arati Baliga, I Subhod+2 more|arXiv (Cornell University)|Jul 19, 2018

Blockchain Technology Applications and Security参考文献 2被引用 60

一句话总结

本论文评估 Quorum 2.0 的性能，比较 RAFT 与 IBFT，并在不同工作负载、区块时间，以及私有合约与公有合约的情景下使用微基准测量吞吐量与延迟。

ABSTRACT

Quorum is a permissioned blockchain platform built from the Ethereum codebase with adaptations to make it a permissioned consortium platform. It is one of the key contenders in the permissioned ledger space. Quorum supports confidentiality and privacy of smart contracts and transactions, and crash and Byzantine fault tolerant consensus algorithms. In this paper, we characterize the performance features of Quorum. We study the throughput and latency characteristics of Quorum with different workloads and consensus algorithms that it supports. Through a suite of micro-benchmarks, we explore how certain transaction and smart contract parameters can affect transaction latencies.

研究动机与目标

• 在不同工作负载和共识算法下表征 Quorum 的性能特征。
• 在可控工作负载和变化的区块时间下测量吞吐量和延迟。
• 评估私有合约与公有合约对性能的影响。
• 识别智能合约和有效负载参数如何影响交易延迟。
• 为在 Quorum 上构建应用程序的开发者提供设计指导。

提出的方法

• 扩展 Caliper，加入 Quorum 插件以生成受控工作负载并测量吞吐量与延迟。
• 在常规硬件上搭建包含 3 个节点（RAFT）或 4 个节点（IBFT）及多客户端的私有 Quorum 网络。
• 使用仅写、空载、读和混合等工作负载来驱动实验。
• 改变区块时间以研究其对 RAFT 吞吐量和延迟的影响；对比 RAFT 与 IBFT 的性能。
• 进行微基准测试，改变读/写集合、键值存储大小以及有效载荷大小以研究延迟影响。
• 部署私有合约以衡量性能影响并调查密码学/通信开销。

实验结果

研究问题

• RQ1 RAFT 与 IBFT 共识算法如何在不同工作负载下影响 Quorum 的吞吐量和延迟？
• RQ2 在实际事务速率下，改变区块时间参数如何影响吞吐量和延迟？
• RQ3 私有合约相对于公有合约对 Quorum 的性能影响是什么？
• RQ4 有效载荷大小和键值存储大小如何影响端到端交易延迟？
• RQ5 在更高交易速率和使用私有合约的情况下，Quorum 的可扩展性界限是什么？

主要发现

• 在 RAFT 下，吞吐量在不同区块时间下基本保持不变，而延迟随区块时间增加而增大。
• IBFT 在大约 1500 tx/秒左右时吞吐量略高于 RAFT，但 IBFT 的延迟显著高于 RAFT（通常是其两倍或更多）。
• 所有工作负载在负载下呈线性扩展，至少在 1650 tx/秒（3 个客户端）时仍然如此，显示出良好的水平扩展性。
• 读负载由于本地查找带来最低延迟；写和空载负载受区块时间和共识处理支配。
• 私有合约在较高负载时降低吞吐量，原因是额外的加密/通信开销；观察到的私有合约吞吐量上限约为 900 tx/秒，此后出现的失败归因于 Quorum 代码中的共识问题。
• 延迟随更大的读/写集合和更大的交易/事件有效载荷而增加；有效载荷从 1 KB 增至 30 KB，大约使交易延迟增加 22-25%。