[论文解读] On Atomic Registers and Randomized Consensus in M&M Systems

Vassos Hadzilacos, Xing Hu+1 more|arXiv (Cornell University)|Jun 1, 2019

Distributed systems and fault tolerance参考文献 26被引用 4

一句话总结

本文提出了在消息与内存（m&m）系统中实现原子单写多读（SWMR）寄存器和随机化共识的最优算法，该系统结合了消息传递与共享内存（如RDMA）。研究证明，这些算法的容错能力取决于共享内存图的拓扑结构，并证明了m条RDMA连接在容忍m个进程崩溃时既必要又充分，从而推广了纯消息传递系统中的经典结果。

ABSTRACT

Motivated by recent distributed systems technology, Aguilera et al. introduced a hybrid model of distributed computing, called message-and-memory model or m&m model for short [1]. In this model, processes can communicate by message passing and also by accessing some shared memory (e.g., through some RDMA connections). We first consider the basic problem of implementing an atomic single-writer multi-reader (SWMR) register shared by all the processes in m&m systems. Specifically, we give an algorithm that implements such a register in m&m systems and show that it is optimal in the number of process crashes that it can tolerate. This generalizes the well-known implementation of an atomic SWMR register in a pure message-passing system [5]. We then combine our register implementation for m&m systems with the well-known randomized consensus algorithm of Aspnes and Herlihy [4], and obtain a randomized consensus algorithm for m&m systems that is also optimal in the number of process crashes that it can tolerate. Finally, we determine the minimum number of RDMA connections that is sufficient to implement a SWMR register, or solve randomized consensus, in an m&m system with t process crashes, for any given t.

研究动机与目标

• 设计一种在m&m系统中实现最优原子SWMR寄存器的算法，以容忍最多数量的进程崩溃。
• 通过利用RDMA的共享内存，将随机化共识算法扩展至m&m系统，实现最优容错能力。
• 确定在均匀m&m系统中实现任意期望容错能力所需的最少RDMA连接数。
• 以共享内存图的拓扑结构为依据，刻画容错能力，从而实现连接数受限条件下的高效系统设计。

提出的方法

• 提出一种在m&m系统中实现原子SWMR寄存器的新算法，该算法推广了纯消息传递系统中ABD算法的思路。
• 使用共享内存图G来建模RDMA连接，其中节点代表进程，边代表共享内存访问。
• 应用Aspnes与Herlihy的随机化共识算法，将原子寄存器替换为所提出的m&m寄存器实现。
• 通过图论分析证明容错边界，特别关注图G的平方G²及其连通性特性。
• 通过分析图G中不相交节点集及其邻域交集，推导出容错能力的必要与充分条件。
• 通过反证法证明最优性：表明在m&m模型下，超过推导出的容错边界是不可能的。

实验结果

研究问题

• RQ1 在m&m系统中实现原子SWMR寄存器时，最多可容忍多少个进程崩溃？
• RQ2 能否通过结合共享内存与消息传递，在m&m系统中以最优容错能力解决随机化共识问题？
• RQ3 在均匀m&m系统中，实现m重容错所需的最少RDMA连接数是多少？
• RQ4 共享内存图G的拓扑结构如何影响寄存器与共识实现的容错能力？
• RQ5 在度数有界的图（如每个进程的RDMA连接数受限）的m&m系统中，是否可实现比纯消息传递系统更高的容错能力？

主要发现

• 对于任意具有共享内存图G的m&m系统，可容忍的最大崩溃数t_G由图的拓扑结构决定，特别是G²的连通性。
• 具有m条RDMA连接的m&m系统可容忍最多m个进程崩溃，且该条件在实现最优容错能力时既必要又充分。
• 星型图拓扑在连接数最少的情况下实现最优容错能力，其中中心节点与所有其他节点相连，实现t_G = n-1的容错能力。
• 当k=2时，基于环的图可实现t_G = ⌈n/2⌉ + 1的容错能力，优于纯消息传递系统。
• 当不使用任何RDMA连接时，容错能力受限于⌈n/2⌉ - 1个崩溃，但仅需m > ⌈n/2⌉ - 1条连接即可突破此界限。
• 所提出的共识算法在强敌手模型下仍正确，即使使用普通寄存器，这是由于Aspnes-Herlihy算法的特定性质。