[论文解读] The Open Cloud Testbed: A Wide Area Testbed for Cloud Computing Utilizing High Performance Network Services

Robert L. Grossman, Yunhong Gu+4 more|ArXiv.org|Jul 28, 2009

Cloud Computing and Resource Management参考文献 5被引用 32

一句话总结

Open Cloud Testbed（OCT）是一个广域云计算测试平台，拥有分布在四个地理位置分散的数据中心的120个节点，通过高性能10Gb/s网络连接，使用专用光路。它通过创新的节点/网络资源配置、监控和RPC系统，支持大规模基准测试、互操作性研究以及云服务的实验，能够处理超越通用互联网限制的极端数据流工作负载。

ABSTRACT

Recently, a number of cloud platforms and services have been developed for data intensive computing, including Hadoop, Sector, CloudStore (formerly KFS), HBase, and Thrift. In order to benchmark the performance of these systems, to investigate their interoperability, and to experiment with new services based on flexible compute node and network provisioning capabilities, we have designed and implemented a large scale testbed called the Open Cloud Testbed (OCT). Currently the OCT has 120 nodes in four data centers: Baltimore, Chicago (two locations), and San Diego. In contrast to other cloud testbeds, which are in small geographic areas and which are based on commodity Internet services, the OCT is a wide area testbed and the four data centers are connected with a high performance 10Gb/s network, based on a foundation of dedicated lightpaths. This testbed can address the requirements of extremely large data streams that challenge other types of distributed infrastructure. We have also developed several utilities to support the development of cloud computing systems and services, including novel node and network provisioning services, a monitoring system, and a RPC system. In this paper, we describe the OCT architecture and monitoring system. We also describe some benchmarks that we developed and some interoperability studies we performed using these benchmarks.

研究动机与目标

• 解决依赖通用互联网进行网络连接的小规模、地理上集中的云测试平台的局限性。
• 实现在分布式数据中心之间大规模、高吞吐量的云应用基准测试和互操作性测试。
• 通过高性能网络基础设施，支持对云系统灵活计算与网络资源配置的研究。
• 开发并部署适用于广域云实验的专用工具，如节点资源配置、监控和RPC系统。

提出的方法

• OCT架构将120个计算节点集成在巴尔的摩、芝加哥（两个位置）和圣地亚哥的四个数据中心中，通过专用10Gb/s光路互联。
• 通过专用光路（光通道）构成的网络基础，实现高性能网络，最大限度降低延迟并提升带宽，以支持广域云工作负载。
• 采用自定义的节点资源配置系统，实现对分布式基础设施中云资源的动态分配与配置。
• 通过集中式监控系统收集并关联节点与网络链路的性能指标，支持实时分析与调试。
• 实现RPC系统，以促进测试平台中分布式组件之间的低延迟、高可靠性通信。
• 通过专为压力测试Hadoop、HBase和CloudStore等数据密集型云服务而设计的自定义工作负载，开展基准测试与互操作性研究。

实验结果

研究问题

• RQ1 与基于通用互联网的测试平台相比，具备高性能网络的广域云测试平台在提升数据密集型云应用的可扩展性与性能方面有何优势？
• RQ2 当Hadoop和HBase等云服务在具有10Gb/s光路连接的地理分布数据中心中部署时，其性能特征如何？
• RQ3 灵活的节点与网络资源配置服务在多大规模的云测试平台中，能在多大程度上提升实验效率与互操作性？
• RQ4 定制化的监控与RPC系统在支持分布式云基础设施中实时性能分析与服务协调方面，效果如何？

主要发现

• 由于其10Gb/s光路网络基础设施，OCT成功支持了在地理上分散的数据中心之间大规模、高吞吐量的数据流。
• 与基于通用互联网的云测试平台相比，专用光路的使用显著降低了网络延迟并提高了带宽可用性。
• 互操作性研究揭示了在异构节点和网络条件下集成Hadoop、HBase和CloudStore等云服务时存在的性能瓶颈与配置挑战。
• 定制监控系统实现了对节点与网络链路之间性能的详细、实时关联分析，有助于系统行为的根本原因分析。
• 节点资源配置与RPC系统在广域测试平台中表现出低延迟、高可靠性的协调能力，支持动态云服务的部署与管理。
• 基准测试表明，与依赖共享互联网基础设施的典型云测试平台相比，OCT在数据密集型工作负载中实现了更高的吞吐量和更低的端到端延迟。