[论文解读] SDN Controllers: Benchmarking & Performance Evaluation

Liehuang Zhu, Md Monjurul Karim+4 more|arXiv (Cornell University)|Feb 12, 2019

Software-Defined Networks and 5G参考文献 67被引用 58

一句话总结

本文提出了一套全面的SDN控制器基准测试框架，使用三种工具（CBench、PktBlaster、OFNet）对9个控制器在多个指标上进行了评估。研究发现，在复杂环境中，多线程控制器（如ONOS和OpenDaylight）相比单线程控制器性能更优，但需要更多资源；控制器性能高度依赖于拓扑结构、工具限制和配置参数。

ABSTRACT

Software Defined Networks offer flexible and intelligent network operations by splitting a traditional network into a centralized control plane and a programmable data plane. The intelligent control plane is responsible for providing flow paths to switches and optimizes network performance. The controller in the control plane is the fundamental element used for all operations of data plane management. Hence, the performance and capabilities of the controller itself are extremely important. Furthermore, the tools used to benchmark their performance must be accurate and effective in measuring different evaluation parameters. There are dozens of controller proposals available in existing literature. However, there is no quantitative comparative analysis for them. In this article, we present a comprehensive qualitative comparison of different SDN controllers, along with a quantitative analysis of their performance in different network scenarios. More specifically, we categorize and classify 34 controllers based on their capabilities, and present a qualitative comparison of their properties. We also discuss in-depth capabilities of benchmarking tools used for SDN controllers, along with best practices for quantitative controller evaluation. This work uses three benchmarking tools to compare nine controllers against multiple criteria. Finally, we discuss detailed research findings on the performance, benchmarking criteria, and evaluation testbeds for SDN controllers.

研究动机与目标

• 为现有文献中SDN控制器缺乏标准化、定量比较的问题提供解决方案。
• 基于其功能和使用场景，对34个SDN控制器进行识别与分类。
• 使用多种基准测试工具和指标，评估九个广泛使用的SDN控制器的性能。
• 建立控制器基准测试的最佳实践，包括工具选择、指标定义和测试平台设计。
• 为研究人员和实践者提供基于真实世界性能特征的控制器选型实用建议。

提出的方法

• 基于架构设计、部署模式和功能集，对34个SDN控制器进行分类与归类。
• 使用三种基准测试工具——CBench、PktBlaster和OFNet——每种工具具备不同的能力，用于评估吞吐量、延迟、流消息处理和CPU利用率。
• 在不同网络条件下对九个控制器进行实验评估，包括不同数量的交换机和流量配置。
• 使用OFNet设计自定义拓扑和流量模式，以隔离控制器性能与底层基础设施影响。
• 对关键指标进行定量测量：吞吐量、往返时间（RTT）、CPU利用率、发送/接收的流消息数量以及流接受效率。
• 分析工具限制及其对基准测试结果的影响，包括硬件约束和配置依赖性。

实验结果

研究问题

• RQ1 在吞吐量、延迟和流消息处理等指标上，不同SDN控制器的性能表现如何比较？
• RQ2 现有SDN控制器基准测试工具的关键功能与局限性是什么？
• RQ3 控制器架构（单线程与多线程、集中式与分布式）在不同网络拓扑中的性能表现如何？
• RQ4 工具特定的配置和硬件约束在多大程度上影响基准测试结果？
• RQ5 在真实场景中，评估SDN控制器性能的最有效指标和最佳实践是什么？

主要发现

• 多线程控制器（如ONOS、OpenDaylight和Floodlight）在吞吐量和流消息处理方面显著优于单线程控制器（如NOX、POX和RYU），尤其是在高负载下。
• 由于计算开销较低，单线程控制器的流接收速率更高；而多线程控制器由于采用分布式处理和实例特定的消息处理机制，接收速率较低。
• NOX、POX和RYU向控制器发送的流消息数量少于ONOS、ODL和Floodlight，表明其在流管理策略和消息生成模式上存在差异。
• OFNet支持自定义拓扑和流量配置，结果表明单线程控制器在简化拓扑中表现尚可，而多线程控制器更适合复杂且可扩展的环境。
• 基准测试工具的局限性（如硬件约束和固定流量配置）显著影响测试结果，导致跨工具比较不可靠，凸显了建立标准化评估框架的必要性。
• 仅有少数控制器支持OpenFlow 1.3或更高版本，且许多控制器缺乏足够的实现细节，难以复现评估，限制了实际部署和对比分析。