[论文解读] The Impact of Distance on Performance and Scalability of Distributed Database Systems in Hybrid Clouds

Yaser Mansouri, M. Ali Babar|arXiv (Cornell University)|Jul 30, 2020

Cloud Computing and Resource Management被引用 4

一句话总结

本文评估了在涵盖本地部署和公有云区域（悉尼、孟买、弗吉尼亚州）的混合云环境中，跨云距离对六种现代分布式数据库（MongoDB、Cassandra、Riak、CouchDB、Redis、MySQL Cluster）吞吐量和可扩展性的影响。研究发现，增加距离会降低大多数数据库的性能，其中MongoDB和MySQL Cluster表现出最高的吞吐量；而垂直扩展（更大的虚拟机）在性能提升方面显著优于水平扩展（更多的虚拟机），尤其对I/O密集型和通信密集型数据库（如Cassandra和Redis）更为明显。

ABSTRACT

The increasing need for managing big data has led the emergence of advanced database management systems. There has been increased efforts aimed at evaluating the performance and scalability of NoSQL and Relational databases hosted by either private or public cloud datacenters. However, there has been little work on evaluating the performance and scalability of these databases in hybrid clouds, where the distance between private and public cloud datacenters can be one of the key factors that can affect their performance. Hence, in this paper, we present a detailed evaluation of throughput, scalability, and VMs size vs. VMs number for six modern databases in a hybrid cloud, consisting of a private cloud in Adelaide and Azure based datacenter in Sydney, Mumbai, and Virginia regions. Based on results, as the distance between private and public clouds increases, the throughput performance of most databases reduces. Second, MongoDB obtains the best throughput performance, followed by MySQL C luster, whilst Cassandra exposes the most fluctuation in through performance. Third, vertical scalability improves the throughput of databases more than the horizontal scalability. Forth, exploiting bigger VMs rather than more VMs with less cores can increase throughput performance for Cassandra, Riak, and Redis.

研究动机与目标

• 调查跨云距离如何影响混合云架构中分布式数据库的吞吐量和可扩展性。
• 比较六种现代数据库（MongoDB、Cassandra、Riak、CouchDB、Redis、MySQL Cluster）在混合云部署中不同距离下的性能表现。
• 评估在地理分离的私有云和公有云数据中心环境中，垂直扩展与水平扩展之间的权衡。
• 分析在不同网络延迟条件下，虚拟机规模（核心数）与虚拟机数量对数据库吞吐量的影响。

提出的方法

• 在阿德莱德的私有云与悉尼、孟买和弗吉尼亚州的公有云数据中心之间构建混合云架构，部署六种分布式数据库。
• 在受控工作负载下测量吞吐量性能，同时调整涌入公有云的虚拟机数量和虚拟机的大小（核心数）。
• 通过在三个地理距离（悉尼：短距离，孟买/弗吉尼亚州：长距离）进行系统性实验，隔离由距离引起的延迟影响。
• 在相同工作负载条件下，对每种数据库分别评估水平扩展（增加虚拟机数量）和垂直扩展（增加虚拟机核心数）的效果。
• 采用虚拟机打包策略，比较使用较少但更大的虚拟机与更多但更小的虚拟机时的性能表现，重点关注虚拟机间通信开销。
• 分析一致性机制、复制策略和数据模型对可扩展性行为的影响，以识别性能趋势。

实验结果

研究问题

• RQ1 私有云与公有云数据中心之间的地理距离增加，如何影响混合云中分布式数据库的吞吐量性能？
• RQ2 在混合云部署中，哪种数据库系统实现了最高的吞吐量？该表现如何随距离和扩展策略变化？
• RQ3 在不同分布式数据库中，垂直扩展（更大的虚拟机）在吞吐量方面相比水平扩展（更多的虚拟机）优势有多大？
• RQ4 虚拟机打包策略（较少但更大的虚拟机 vs. 更多但更小的虚拟机）如何影响性能，特别是对通信密集型或内存数据库的影响？
• RQ5 一致性机制和复制策略如何与网络延迟相互作用，从而影响混合云环境中数据库的可扩展性？

主要发现

• 随着私有云与公有云数据中心之间地理距离的增加，大多数数据库的吞吐量性能下降，其中MongoDB和MySQL Cluster表现出最稳定的性能。
• MongoDB在所有数据库中实现了最高的吞吐量，得益于其完整复制和最终一致性模型，即使在长距离下也优于其他数据库。
• Cassandra表现出最高的性能波动，其吞吐量在初期随公有云中虚拟机数量增加而下降，随后上升，尤其在悉尼区域表现明显。
• 垂直扩展（增加虚拟机核心数）带来的吞吐量提升优于水平扩展：例如，Cassandra在核心数从2增加到8时，吞吐量最高提升了800%。
• 对于Riak，使用更大虚拟机而非更多小虚拟机时，吞吐量提升了30%；对于Redis，吞吐量提升了10%，表明内存密集型数据库在垂直扩展方面具有显著优势。
• 在悉尼区域，虚拟机打包（较少但更大的虚拟机）显著提升了Cassandra和Riak的性能，表明虚拟机间通信开销是性能下降的关键因素。