[论文解读] Partisan: Enabling Cloud-Scale Erlang Applications

Christopher Meiklejohn, Heather Miller|arXiv (Cornell University)|Feb 7, 2018

Cloud Computing and Resource Management参考文献 19被引用 4

一句话总结

Partisan 是一种与拓扑无关的、基于通道的 Erlang 分布式层，支持运行时选择集群拓扑（如全连接、对等、客户端-服务器和发布-订阅），从而提升可扩展性和性能。通过在多个通信通道间分发消息，Partisan 在拥塞情况下实现最高 30 倍的性能提升，在分布式数据库工作负载中实现 13.5 倍的性能改进，优于分布式 Erlang。

ABSTRACT

In this work, we present an alternative distribution layer for Erlang, named Partisan. Partisan is a topology-agnostic distributed programming model and distribution layer that supports several network topologies for different application scenarios: full mesh, peer-to-peer, client-server, and publish-subscribe. Partisan allows application developers to specify the network topology at runtime, rather than encoding topology-specific concerns into application code. Partisan additionally adds support for more channels, enabling users to distribute messages over multiple channels, sometimes in parallel. We implement and evaluate Partisan in the Erlang programming language and use it in the evaluation of three scenarios. The first scenario compares the raw performance between Distributed Erlang and Partisan, and shows that Partisan performs on par with or better than Distributed Erlang. The second scenario demonstrates that distributing traffic over multiple connections enables Partisan to perform up to 18x better under normal conditions, and up to 30x better in situations with network congestion and high concurrency. The third scenario demonstrates, using existing applications, that configuring the topology at runtime allows applications to perform up to 13.5x better or scale to clusters of thousands of nodes over the general-purpose runtime distribution layer.

研究动机与目标

• 解决现代云规模应用中分布式 Erlang 的可扩展性限制，这些应用需要多样化的网络拓扑。
• 使应用开发者能够在不修改应用代码的情况下，运行时选择最优的集群拓扑。
• 克服由队首阻塞、单通道通信和二次连接开销导致的分布式 Erlang 性能瓶颈。
• 通过引入多个通信通道和拓扑专门化，提升并行性和容错能力。
• 在真实分布式应用（如键值存储和数据库）中展示显著的性能和可扩展性提升。

提出的方法

• 设计一种与拓扑无关的分布式编程模型，支持运行时选择多种集群拓扑（全连接、对等、客户端-服务器、发布-订阅）。
• 实现基于通道的全连接后端，允许多个连接间分发消息，以利用并行性并减少队首阻塞。
• 将 Partisan 层作为分布式 Erlang 的替代方案集成，同时保留 Erlang 轻量级进程和消息传递模型。
• 使用基于 G-Counter 的分布式数据结构，在大规模集群中评估可扩展性。
• 在三种场景下评估性能：原始性能对比、拥塞下的多通道消息传递，以及大规模集群中的动态拓扑配置。
• 利用现有 Erlang 应用（如 Riak Core）验证真实场景下的性能改进。

实验结果

研究问题

• RQ1 Erlang 的分布式层是否能够在不修改应用代码的情况下，支持运行时选择多种集群拓扑？
• RQ2 在高并发或高延迟网络条件下，多通道消息分发能在多大程度上提升性能？
• RQ3 拓扑专门化对大规模集群（如 1000+ 节点）中分布式应用的可扩展性有何影响？
• RQ4 Partisan 是否能在分布式数据库和键值存储等多样化工作负载中，实现比分布式 Erlang 更高的吞吐量和更低的延迟？
• RQ5 分布式 Erlang 在超过约 60 个节点后可扩展性受限的性能瓶颈是什么？这些瓶颈能否通过架构改进得以缓解？

主要发现

• Partisan 在原始消息传递基准测试中性能与分布式 Erlang 相当或更优。
• 在正常条件下，通过多通道分发流量可实现最高 18 倍的性能提升；在拥塞和高并发条件下，性能最高可提升 30 倍。
• 运行时拓扑选择使轻量级键值存储系统可从 256 个节点扩展至 1024 个节点，展现出显著的横向可扩展性。
• 同一应用在使用优化拓扑（如客户端-服务器或发布-订阅）而非默认全连接拓扑时，性能最高可提升 13.5 倍。
• Partisan 通过利用并行通信通道，有效缓解了队首阻塞，并降低了序列化开销的影响。
• 该设计具有通用性，可提升其他基于角色的系统（如 Akka Cluster 和 Microsoft Orleans）的性能，其在 Riak Core 上的应用已得到验证。