[论文解读] Practical Experience Report: The Performance of Paxos in the Cloud

Parisa Jalili Marandi, Samuel P. Benz+2 more|arXiv (Cornell University)|Apr 27, 2014

Distributed systems and fault tolerance参考文献 21被引用 4

一句话总结

本文在亚马逊EC2的多种云环境下，评估了四种开源Paxos实现（S-Paxos、OpenReplica、Ring Paxos和Libpaxos）的性能，发现标准Paxos库在故障发生时表现出突发性行为和严重的性能下降，尤其是在异构或地理分布式的环境中。研究发现，依赖快速多数节点的协议（如Libpaxos）在快速节点失效时会出现长时间延迟，而涉及所有参与方的协议（如Ring Paxos）虽能保持更好的容错能力，但以牺牲峰值性能为代价；本文提出了优化方案以稳定Libpaxos的行为。

ABSTRACT

This experience report presents the results of an extensive performance evaluation conducted using four open-source implementations of Paxos deployed in Amazon's EC2. Paxos is a fundamental algorithm for building fault-tolerant services, at the core of state-machine replication. Implementations of Paxos are currently used in many prototypes and production systems in both academia and industry. Although all protocols surveyed in the paper implement Paxos, they are optimized in a number of different ways, resulting in very different behavior, as we show in the paper. We have considered a variety of configurations and failure-free and faulty executions. In addition to reporting our findings, we propose and assess additional optimizations to existing implementations.

研究动机与目标

• 评估四种开源Paxos实现方案在真实云环境（包括故障和网络异构性）下的实际性能。
• 识别在云服务中常见的配置（同构、异构、跨可用区部署）下性能的变化情况。
• 探究为何部分Paxos实现表现出突发性吞吐量，以及这在节点故障后如何影响应用层性能。
• 提出并评估优化方案以稳定性能，特别是针对Libpaxos，确保其在压力下保持一致行为。
• 为系统设计者提供依据，根据部署环境和可靠性需求选择合适的Paxos变体。

提出的方法

• 在亚马逊EC2上部署四种开源Paxos库（S-Paxos、OpenReplica、Ring Paxos和Libpaxos），在受控和故障诱导条件下评估其性能。
• 在三种配置下进行实验：单可用区内的同构节点、单可用区内的异构节点，以及跨多个可用区的同构节点。
• 在不同消息大小下测量性能，并对比无故障与故障发生时的执行情况，以评估稳定性与吞吐量。
• 分析消息处理行为，特别是慢速接受者处的消息积压情况，并评估各实现方案中的流量控制机制。
• 提出并评估一项针对Libpaxos的优化，以减少故障场景下的消息积压，稳定决策速率。
• 根据其法定人数策略对协议进行分类：使用所有参与方的协议（如Ring Paxos、S-Paxos）与依赖快速多数的协议（如Libpaxos、OpenReplica）。

实验结果

研究问题

• RQ1 在云环境中，不同Paxos实现方案在无故障和故障发生条件下的行为如何？
• RQ2 当快速接受者在异构法定人数中失效时，会表现出怎样的性能退化模式？
• RQ3 为何部分Paxos实现方案表现出突发性吞吐量？这如何影响应用层性能？
• RQ4 慢速接受者处的消息积压如何影响决策延迟与系统稳定性？
• RQ5 对现有Paxos实现（如Libpaxos）进行优化，能否减少性能波动并提升容错能力？

主要发现

• Libpaxos和OpenReplica表现出突发性性能，且在快速接受者失效后可能完全停滞，决策速率降至零。
• S-Paxos和Ring Paxos通过包含所有参与方在故障后仍能保持进度，但由于负载均衡分布在所有节点上，导致峰值性能下降。
• 在异构配置下，依赖快速多数的协议（如Libpaxos）在正常条件下表现良好，但当快速节点失效时性能严重下降。
• 当慢速接受者被强制纳入法定人数时，所有实现方案的性能均显著下降，原因是消息积压累积延迟了决策处理。
• Libpaxos +（优化变体）通过避免消息积压累积，减少了性能波动，表现出更优的稳定性且未牺牲正确性。
• 本研究表明，协议行为对部署特征高度敏感，协议选择必须与节点异构性、网络拓扑等环境约束相匹配。