[论文解读] The Sloan Digital Sky Survey Science Archive: Migrating a Multi-Terabyte Astronomical Archive from Object to Relational DBMS

Aniruddha R. Thakar, Alexander S. Szalay+2 more|ArXiv.org|Mar 12, 2004

Advanced Database Systems and Queries参考文献 8被引用 3

一句话总结

本文详细描述了斯隆数字巡天（SDSS）科学档案从面向对象数据库管理系统（OODBMS）迁移到关系型数据库管理系统（RDBMS）的过程，原因是初始的OODBMS在查询性能、可扩展性和厂商支持方面存在局限。此次迁移使大规模数据挖掘成为可能，并显著提升了在高吞吐量、多太字节天文学数据上的性能表现，证明了在经过适当优化后，关系型数据库在数据密集型科学工作负载中可优于OODBMS。

ABSTRACT

The Sloan Digital Sky Survey Science Archive is the first in a series of multi-Terabyte digital archives in Astronomy and other data-intensive sciences. To facilitate data mining in the SDSS archive, we adapted a commercial database engine and built specialized tools on top of it. Originally we chose an object-oriented database management system due to its data organization capabilities, platform independence, query performance and conceptual fit to the data. However, after using the object database for the first couple of years of the project, it soon began to fall short in terms of its query support and data mining performance. This was as much due to the inability of the database vendor to respond our demands for features and bug fixes as it was due to their failure to keep up with the rapid improvements in hardware performance, particularly faster RAID disk systems. In the end, we were forced to abandon the object database and migrate our data to a relational database. We describe below the technical issues that we faced with the object database and how and why we migrated to relational technology.

研究动机与目标

• 解决初始面向对象数据库系统在性能方面存在的瓶颈，这些瓶颈影响了SDSS科学档案的运行效率。
• 提升大规模天文学数据分析中的数据挖掘能力与查询效率。
• 评估并决定从OODBMS迁移至关系型DBMS，原因包括厂商支持不足以及硬件需求的持续演进。
• 开发专用工具并优化关系型数据库，以支持对多太字节数据集的高吞吐量、复杂查询。
• 确保日益增长的天文学数据档案在长期运行中具备可维护性、可扩展性以及平台独立性。

提出的方法

• 在评估其适用于多太字节天文学数据工作负载的适用性后，采用商用关系型DBMS。
• 将数据从原始的OODBMS迁移至关系型模式，同时确保数据完整性和关系一致性。
• 在RDBMS之上设计并构建专用工具，以支持复杂查询与数据挖掘操作。
• 利用RAID磁盘技术的进步与硬件性能提升，增强查询执行速度。
• 通过优化SQL查询计划与索引策略，提升天文学数据检索的响应时间。
• 通过依赖标准SQL与关系型数据库标准，实现平台独立性与可移植性。

实验结果

研究问题

• RQ1 为何初始的面向对象数据库无法满足SDSS科学档案在性能与可扩展性方面的需求？
• RQ2 哪些技术和组织因素促成了从OODBMS向RDBMS迁移的决策？
• RQ3 硬件进步，特别是RAID存储系统的发展，如何影响了关系型数据库的选择？
• RQ4 在类似天文学这类数据密集型科学应用中，关系型数据库在多大程度上能超越OODBMS？
• RQ5 为成功迁移并优化新的关系型系统，需要进行哪些架构与工具链方面的调整？

主要发现

• OODBMS由于查询优化能力有限且对复杂分析查询支持不足，难以实现有效扩展。
• 厂商在关键功能与错误修复方面的延迟，严重阻碍了系统的演进与性能调优。
• RAID磁盘系统的快速进步超出了OODBMS利用高I/O吞吐量的能力，使其竞争优势减弱。
• 关系型数据库在多太字节SDSS数据工作负载中，提供了更优的查询性能、可扩展性与可维护性。
• 基于RDBMS构建的专用工具，使在大规模天文学数据集中实现高效数据挖掘与复杂查询成为可能。
• 此次迁移使数据管理系统更具可扩展性、可靠性，并为未来做好了充分准备，适用于天文学研究。