[论文解读] RDMAvisor: Toward Deploying Scalable and Simple RDMA as a Service in Datacenters

Zhi Wang, Xiaoliang Wang+3 more|arXiv (Cornell University)|Feb 6, 2018

Cloud Computing and Resource Management参考文献 5被引用 5

一句话总结

RDMAvisor 提出了一种可扩展且简单的 RDMA as a Service（RaaS）抽象，通过使用虚拟 QPN（vQPN）在共享队列对（QPs）上实现连接共享，将高层应用与底层 RDMA 复杂性解耦。它通过无锁、自适应的传输选择和高效的缓冲区管理，在数千个连接下实现了高吞吐量，同时CPU和内存开销极低，优于简单的 RDMA 实现和基于锁的 QP 共享方案。

ABSTRACT

RDMA is increasingly adopted by cloud computing platforms to provide low CPU overhead, low latency, high throughput network services. On the other hand, however, it is still challenging for developers to realize fast deployment of RDMA-aware applications in the datacenter, since the performance is highly related to many lowlevel details of RDMA operations. To address this problem, we present a simple and scalable RDMA as Service (RaaS) to mitigate the impact of RDMA operational details. RaaS provides careful message buffer management to improve CPU/memory utilization and improve the scalability of RDMA operations. These optimized designs lead to simple and flexible programming model for common and knowledgeable users. We have implemented a prototype of RaaS, named RDMAvisor, and evaluated its performance on a cluster with a large number of connections. Our experiment results demonstrate that RDMAvisor achieves high throughput for thousand of connections and maintains low CPU and memory overhead through adaptive RDMA transport selection.

研究动机与目标

• 解决复杂的底层 RDMA 配置问题，该问题阻碍了数据中心中 RDMA 应用的快速部署。
• 提升大规模数据中心环境中 RDMA 的可扩展性，此类环境中每节点数千个连接是常见场景。
• 通过在多个连接间高效复用 RDMA 队列对（QPs），降低 CPU 和内存开销。
• 提供一种简单、灵活的编程模型，抽象出 RDMA 操作细节，同时保持高性能。
• 缓解共享 QP 设计中因锁竞争导致的性能下降问题。

提出的方法

• 引入一个中间层，将 RDMA verbs 抽象为类似 socket 的接口，隐藏底层细节，使应用开发者无需关注。
• 使用虚拟 QPN（vQPN）在共享物理 QP 内唯一标识逻辑连接，实现连接多路复用。
• 对单边 RDMA 操作（Read/Write）使用 vQPN 存储在工作请求（WR）的 wr_id 字段中，用于连接识别。
• 对双边操作（Send/Recv），将 vQPN 嵌入 WR 的立即数字段（imm_data）中，使接收端能够解析连接信息。
• 实现无锁、用户空间轮询完成队列（CQ），以最小化操作系统参与，降低延迟。
• 基于消息大小和性能特征，采用自适应传输选择（RC/UC/UD），以优化吞吐量和资源使用。

实验结果

研究问题

• RQ1 如何将 RDMA 抽象为一个简单、可重用的服务层，以隐藏应用开发者面临的底层操作复杂性？
• RQ2 哪些机制能够实现在数千个并发连接下对有限 QP 资源的高效、可扩展共享？
• RQ3 与每个连接独占分配 QP 的方式相比，基于共享 QP 的连接多路复用对吞吐量、CPU 和内存开销有何影响？
• RQ4 无锁用户空间轮询和自适应传输选择是否能显著降低高并发 RDMA 工作负载下的 CPU 和内存开销？
• RQ5 所提出的 RaaS 设计在多大程度上优于简单的 RDMA 实现以及存在锁竞争的现有共享 QP 方法？

主要发现

• RDMAvisor 在每节点最多 1,000 个连接时仍能保持稳定的高吞吐量，而简单 RDMA 实现超过 400 个连接后性能急剧下降，原因在于 QP 资源耗尽。
• 即使在连接数低于 400 时，RDMAvisor 也优于简单 RDMA 实现，原因在于 QP 共享带来的更高批处理效率。
• 与简单 RDMA 相比，RDMAvisor 显著降低了 CPU 和内存开销，资源消耗随连接数增长呈次线性关系。
• 该设计对锁竞争具有强韧性，优于基于锁的 QP 共享方案，尤其在每个 QP 上线程数增加时优势更明显。
• 自适应传输选择通过根据消息大小和网络状况动态选择 RC、UC 或 UD，实现了最优性能。
• vQPN 机制实现了共享 QP 中高效、无锁的连接识别，减少了缓存未命中，提升了可扩展性。