[论文解读] Network Hardware-Accelerated Consensus

Huynh Tu Dang, Pietro Bressana+6 more|arXiv (Cornell University)|May 18, 2016

Distributed systems and fault tolerance参考文献 41被引用 8

一句话总结

本文提出CAANS，一种通过可编程网络设备使用P4直接实现完整Paxos协议的网络硬件加速共识系统，实现了线速吞吐量，延迟仅略高于数据包转发。通过将共识逻辑从服务器卸载到网络，CAANS降低了延迟并提高了吞吐量，是一种可直接替换软件Paxos的方案，且可在FPGA、NPU和ASIC上跨平台部署。

ABSTRACT

Consensus protocols are the foundation for building many fault-tolerant distributed systems and services. This paper posits that there are significant performance benefits to be gained by offering consensus as a network service (CAANS). CAANS leverages recent advances in commodity networking hardware design and programmability to implement consensus protocol logic in network devices. CAANS provides a complete Paxos protocol, is a drop-in replacement for software-based implementations of Paxos, makes no restrictions on network topologies, and is implemented in a higher-level, data-plane programming language, allowing for portability across a range of target devices. At the same time, CAANS significantly increases throughput and reduces latency for consensus operations. Consensus logic executing in hardware can transmit consensus messages at line speed, with latency only slightly higher than simply forwarding packets.

研究动机与目标

• 通过将共识逻辑移至网络基础设施，解决数据中心中基于软件的共识协议的性能瓶颈。
• 通过利用可编程网络硬件（如FPGA、NPU和ASIC）实现高吞吐量、低延迟的共识操作。
• 提供一种可移植的、与应用层兼容的Paxos实现，可作为现有软件库的即插即用替代品。
• 使用高级数据平面编程语言评估硬件加速共识在多种可编程网络设备上的性能。
• 证明网络硬件可显著提升共识性能，且无需更改应用逻辑或网络拓扑。

提出的方法

• 使用P4（一种高级数据平面编程语言）实现完整的Paxos共识协议，以实现跨可编程网络设备的可移植性。
• 将共识逻辑直接部署在网路交换机和网卡中，使共识消息能够以线速进行处理和转发。
• 使用通用可编程硬件（如Barefoot P4支持的交换机、FPGA（如Xilinx VC709、NetFPGA SUME）和NPU（如Netronome NFP-6xxx））在数据平面执行共识逻辑。
• 设计系统以保持与现有基于软件的Paxos API的兼容性，实现与现有应用的无缝集成。
• 通过在网络内处理减少软件协议栈开销和网络跳数，优化消息传输。
• 在多种硬件平台（包括真实硬件（FPGA、NPU）和仿真环境）上，于不同网络条件和工作负载下评估性能。

实验结果

研究问题

• RQ1 共识逻辑能否在不牺牲协议正确性或兼容性的前提下，有效从服务器卸载到网络设备？
• RQ2 与软件实现相比，可编程网络硬件在多大程度上能提升共识协议的吞吐量和延迟性能？
• RQ3 硬件加速共识在不同可编程网络设备（如FPGA、ASIC、NPU）上的性能表现如何？
• RQ4 基于P4的Paxos实现能否在保持跨多种网络硬件平台可移植性的同时，实现线速性能？
• RQ5 将共识从应用层移至网络层，对端到端系统性能和可扩展性有何影响？

主要发现

• CAANS在10G链路上实现了线速吞吐量，共识流量完全饱和网络容量。
• CAANS中共识消息传输的延迟仅略高于简单数据包转发，表明网络内处理的开销极小。
• 通过消除软件协议栈处理和减少网络跳数，CAANS显著降低了端到端延迟，相比基于软件的Paxos有明显优势。
• CAANS是软件Paxos的即插即用替代品，保持相同的API，无需修改应用即可直接进行性能对比。
• 由于使用P4作为编程抽象，该实现可在FPGA、NPU和ASIC等多种硬件平台上跨平台部署。
• 在真实硬件和仿真环境中的评估结果表明，当学习者和应用饱和时，网络才成为性能瓶颈，而非共识逻辑本身。