[论文解读] Revisiting Network Support for RDMA

Radhika Mittal, Alexander Shpiner+5 more|arXiv (Cornell University)|Jun 21, 2018

Software-Defined Networks and 5G参考文献 14被引用 5

一句话总结

本文提出 IRN（改进型 RoCE 网卡），一种重新设计的以太网 RDMA 网卡，通过增强丢包恢复机制并增加端到端流量控制，消除了对优先级流量控制（PFC）的依赖。IRN 在仅增加 3–10% 网卡硬件资源的前提下，相比启用 PFC 的标准 RoCE，性能提升达 6–83%，证明了无损网络并非高性能 RDMA 所必需。

ABSTRACT

The advent of RoCE (RDMA over Converged Ethernet) has led to a significant increase in the use of RDMA in datacenter networks. To achieve good performance, RoCE requires a lossless network which is in turn achieved by enabling Priority Flow Control (PFC) within the network. However, PFC brings with it a host of problems such as head-of-the-line blocking, congestion spreading, and occasional deadlocks. Rather than seek to fix these issues, we instead ask: is PFC fundamentally required to support RDMA over Ethernet? We show that the need for PFC is an artifact of current RoCE NIC designs rather than a fundamental requirement. We propose an improved RoCE NIC (IRN) design that makes a few simple changes to the RoCE NIC for better handling of packet losses. We show that IRN (without PFC) outperforms RoCE (with PFC) by 6-83% for typical network scenarios. Thus not only does IRN eliminate the need for PFC, it improves performance in the process! We further show that the changes that IRN introduces can be implemented with modest overheads of about 3-10% to NIC resources. Based on our results, we argue that research and industry should rethink the current trajectory of network support for RDMA.

研究动机与目标

• 挑战当前普遍认为通过 PFC 实现无损网络是以太网上高性能 RDMA 所必需的假设。
• 解决 PFC 引入的性能与稳定性问题，如队首阻塞和拥塞扩散。
• 设计一种对现有 RoCE 网卡的最小化、渐进式增强方案，实现在无需网络层无损性的情况下，实现高效的丢包恢复与端到端流量控制。
• 证明 iWARP 的架构理念——在网卡中处理丢包——可成功适配到 RoCE，且性能更优、复杂度更低。
• 对 IRN 的性能、协议扩展及硬件资源开销进行严格评估，表明其在真实场景中优于启用 PFC 的 RoCE

提出的方法

• 重新设计 RoCE 网卡，通过将失序分组和 NACK 视为正常流量控制信号而非错误，实现更高效的丢包恢复。
• 通过使用序列号和基于信用的机制跟踪在途分组，引入端到端流量控制，限制未确认分组的数量。
• 修改 RDMA 操作（如带立即值的写、发送、原子操作）的完成语义，确保在分组丢失情况下仍能正确排序与完成。
• 通过根据到达分组的序列号动态分配接收 WQE，支持共享接收队列（SRQ），提升内存效率与正确性。
• 在网卡中实现状态机，跟踪分组顺序，并仅在所有前置分组均已到达时才完成操作，使用位图检测消息完成状态。
• 通过保证完成事件仅在所有必需分组均已接收并处理后才生成，确保与现有 RDMA 语义的向后兼容性。

实验结果

研究问题

• RQ1 在以太网上的 RDMA 是否可以在不依赖 PFC 实现无损网络结构的前提下实现高性能？
• RQ2 对现有 RoCE 网卡设计进行哪些最小化修改，足以消除对 PFC 的依赖，同时保持或提升性能？
• RQ3 在典型数据中心工作负载下，基于 IRN 的 RoCE 系统性能与启用 PFC 的标准 RoCE 相比如何？
• RQ4 在现代网卡上实现 IRN 增强功能的硬件资源开销是多少？
• RQ5 能否成功将 iWARP 中在网卡内处理丢包的理念适配到 RoCE，实现比原始 iWARP 设计更优的性能与更低的复杂度？

主要发现

• IRN 在多种典型网络场景下相比启用 PFC 的标准 RoCE 性能提升 6–83%，证明 PFC 并非高性能所必需。
• IRN 通过设计消除 PFC 相关问题，如队首阻塞、拥塞扩散和死锁，显著提升网络稳定性。
• 在当前网卡上实现 IRN 的硬件资源开销仅为 3–10%，且未造成消息速率或吞吐量的下降。
• IRN 通过确保所有必需分组均已到达后才触发完成事件，正确维护了所有 RDMA 操作（包括带立即值的写、发送和原子操作）的完成语义。
• 该设计支持共享接收队列（SRQ）与端到端信用机制，未引入新的错误条件或复杂的状态管理。
• 与原始 iWARP 相比，IRN 方法更高效，后者需在网卡上运行完整的 TCP/IP 栈；而 IRN 仅对更简洁的 RoCE 模型进行最小化、针对性增强。