[论文解读] When Database Systems Meet the Grid

M. A. Nieto‐Santisteban, Alexander S. Szalay+4 more|ArXiv.org|Feb 3, 2005

Distributed and Parallel Computing Systems参考文献 12被引用 47

一句话总结

本文提出将数据库系统与网格计算相结合，以加速数据密集型科学工作负载，证明将传统的 Tcl-C 文件处理实现替换为基于 SQL 的数据库服务器集群后，性能提升了约一个数量级。该方法利用关系型数据库在大规模天体物理学数据分析中实现高效的查询处理和事务管理。

ABSTRACT

We illustrate the benefits of combining database systems and Grid technologies for data-intensive applications. Using a cluster of SQL servers, we reimplemented an existing Grid application that finds galaxy clusters in a large astronomical database. The SQL implementation runs an order of magnitude faster than the earlier Tcl-C-file-based implementation. We discuss why and how Grid applications can take advantage of database systems.

研究动机与目标

• 通过将数据库系统与网格基础设施集成，解决数据密集型科学应用中的性能瓶颈。
• 克服传统基于脚本的数据处理在大规模天体物理学工作负载中的局限性。
• 证明关系型数据库能够在网格环境中高效处理大规模数据集上的复杂、高吞吐量查询。
• 为科学数据分析提供一种可扩展、可维护且高性能的替代方案，取代定制的程序化代码。
• 通过一个真实世界的天体物理学应用（即在大型数据库中检测星系团）验证该方法。

提出的方法

• 将现有的基于网格的星系团检测应用重新实现为使用 SQL 服务器集群，而非 Tcl-C 文件处理。
• 设计了关系模式以表示天体数据，并支持复杂的时空查询和过滤操作。
• 使用标准 SQL 进行声明式查询定义，支持查询优化和索引以提升性能。
• 在网格基础设施上部署系统，以利用分布式计算资源和数据可用性。
• 采用查询优化和索引策略以提升响应时间和吞吐量。
• 将新的基于 SQL 的实现与原始的程序化（Tcl-C）版本进行基准测试，以衡量性能提升。

实验结果

研究问题

• RQ1 关系型数据库系统能否有效替代数据密集型网格应用中的定制程序化代码？
• RQ2 数据库系统在大规模科学数据处理工作负载中能将性能提升多少？
• RQ3 将数据库系统与网格基础设施集成如何提升可扩展性和可维护性？
• RQ4 在天体物理学数据分析中，使用基于 SQL 的查询处理相比程序化文件处理能获得多大的性能提升？
• RQ5 哪些架构模式能够实现在分布式、数据密集型科学应用中高效的数据访问和查询执行？

主要发现

• 基于 SQL 的实现相较于原始的 Tcl-C 文件处理实现，性能提升了约一个数量级。
• 关系型数据库提供了更优的查询优化和索引能力，显著减少了查询执行时间。
• 使用标准 SQL 简化了代码维护，并相比底层程序化代码提升了可移植性。
• 数据库系统能够高效管理大规模天体物理数据集上的复杂连接和过滤操作。
• 将数据库系统与网格基础设施集成，实现了跨分布式资源的可扩展且可靠的数据显示处理。
• 结果表明，当查询复杂度和数据量较高时，数据库系统非常适合用于网格环境中的数据密集型科学工作负载。