[论文解读] Performance evaluation of the GridFTP within the NorduGrid project

M. Ellert, Александр Константинов+3 more|ArXiv.org|May 14, 2002

Distributed and Parallel Computing Systems参考文献 1被引用 5

一句话总结

本文评估了在NorduGrid基础设施中多线程GridFTP的性能，表明与单线程FTP相比，并行传输可将数据吞吐量提高600–800%。通过在高速广域网链路上使用Globus Toolkit的GridFTP实现，研究证实并行流显著提升了传输效率，尤其在高容量网络中表现更佳，且在100个并发线程下仍能保持稳定性能。

ABSTRACT

This report presents results of the tests measuring the performance of multi-threaded file transfers, using the GridFTP implementation of the Globus project over the NorduGrid network resources. Point to point WAN tests, carried out between the sites of Copenhagen, Lund, Oslo and Uppsala, are described. It was found that multiple threaded download via the high performance GridFTP protocol can significantly improve file transfer performance, and can serve as a reliable data

研究动机与目标

• 评估Globus GridFTP协议在多个北欧站点的真实Grid基础设施中的性能。
• 评估多线程数据传输与标准FTP及单线程GridFTP相比，是否能显著提升吞吐量。
• 识别影响GridFTP在类似生产环境条件下性能的网络和硬件瓶颈。
• 测试GridFTP alpha版本在高并发工作负载下的可靠性和稳定性。
• 评估第三方（服务器到服务器）传输功能及其性能扩展能力。

提出的方法

• 使用globus-url-copy客户端和gsi-wuftpd GridFTP服务器，在NorduGrid的四个站点（哥本哈根、隆德、奥斯陆和乌普萨拉）之间执行点对点广域网传输。
• 测量在不同网络路径（跳数和链路速度各异，范围为10 Mbit/s至1 Gbit/s）下，100 MB文件的传输吞吐量。
• 将并行线程数从1变化到32，以评估性能扩展性，使用默认TCP设置，未对系统参数进行调优。
• 执行第三方传输，由控制站点（哥本哈根）直接协调两个远程服务器（隆德和乌普萨拉）之间的数据传输。
• 监控线程数量增加时的稳定性和可靠性，特别是超过100个线程的情况。
• 使用Globus Toolkit™ 1.1.3b14，集成GridFTP alpha-4版本，启用GSI认证和并行传输功能。

实验结果

研究问题

• RQ1 与单线程FTP和GridFTP相比，多线程GridFTP在高速广域网上能多大程度上提升数据传输性能？
• RQ2 网络延迟、带宽和硬件配置（如局域网速度）如何影响GridFTP的吞吐量和可扩展性？
• RQ3 第三方GridFTP传输能否实现与直接传输相当的性能，且其性能随线程数如何扩展？
• RQ4 在使用大量并行线程时，GridFTP alpha版本的稳定性极限在哪里？
• RQ5 在高带宽、长距离数据传输中，使用并行流是否可以消除对TCP缓冲区调优的需求？

主要发现

• 多线程GridFTP相比单线程传输，性能提升达600–800%，在隆德至哥本哈根链路上，使用32个线程时吞吐量从约7 Mbit/s提升至约30 Mbit/s。
• 尽管隆德至哥本哈根链路存在15个路由器跳数，但使用32个并行线程时仍能达到最高30 Mbit/s的吞吐量，表明有效利用了可用带宽。
• 通过哥本哈根控制站点实现的隆德与乌普萨拉之间的第三方传输，使用32个线程时吞吐量达到50–55 Mbit/s，与直接传输性能相当。
• 奥斯陆站点的10 Mbit/s局域网成为显著瓶颈，即使使用并行线程，传输速度仍接近理论最大值。
• 当并行线程数超过100时，出现稳定性问题，包括启动阶段冻结和最终数据获取阶段重启，表明在高并发下存在可靠性隐患。
• 尽管处于alpha版本，GridFTP实现在典型工作负载下表现稳定，仅在极端线程数量下观察到轻微不稳定性。