[论文解读] Objectivity Data Migration

Marcin Nowak, K. Nienartowicz+3 more|ArXiv.org|May 28, 2003

Cloud Computing and Resource Management参考文献 2被引用 4

一句话总结

本文提出了一种针对CERN COMPASS与HARP实验的高性能数据迁移策略，利用30台Linux服务器和14台磁带驱动器，将超过300TB的事件数据从Objectivity/DB迁移至新系统，实现了约100MB/s的传输速率。新系统采用关系型数据库存储元数据，使用平面文件存储事件数据，同时保留原始C++ API，通过Oracle9i与CASTOR存储实现可扩展、通用且支持导航访问的数据管理。

ABSTRACT

In this article we describe the migration of event data collected by the COMPASS and HARP experiments at CERN. Together these experiments have over 300TB of physics data stored in Objectivity/DB that had to be transferred to a new data management system by the end of Q1 2003 and Q2 2003 respectively. To achieve this, data needed to be processed with a rate close to 100MB/s, employing 14 tape drives and a cluster of 30 Linux servers. The new persistency solution to accommodate the data is built upon relational databases for metadata storage and standard "flat" files for the event data. The databases contain collections of 109 events and allow generic queries or direct navigational access to the data, preserving the original C++ user API. The central data repository at CERN is implemented using several Oracle9i servers on Linux and the CERN Mass Storage System CASTOR.

研究动机与目标

• 在2003年底之前，为COMPASS与HARP实验将超过300TB的物理事件数据从Objectivity/DB迁移至新数据管理系统。
• 通过实现约100MB/s的持续传输速率，确保迁移过程中的数据完整性和性能。
• 用基于关系型数据库与平面文件的可扩展、可维护的解决方案，取代原有的Objectivity/DB系统。
• 保留原始C++用户应用程序编程接口（API），以实现无缝过渡与应用兼容性。
• 利用Oracle9i与CERN的CASTOR大规模存储系统，部署一个稳健且可投入生产的高性能数据管理系统。

提出的方法

• 利用30台Linux服务器与14台磁带驱动器组成的集群，实现约100MB/s的持续数据传输速率。
• 将事件数据从Objectivity/DB迁移至新系统，其中元数据使用关系型数据库（Oracle9i）存储，原始事件数据使用平面文件存储。
• 设计新的持久化层，支持通用SQL查询与对事件的直接导航访问，模拟原始C++ API的行为。
• 在运行于Linux上的多个Oracle9i服务器上部署中央数据仓库，并与CERN大规模存储系统（CASTOR）集成。
• 通过保留API，确保新系统与现有用户应用程序的向后兼容性。
• 采用分布式处理流水线，在迁移周期内高效处理大规模数据传输与验证任务。

实验结果

研究问题

• RQ1 如何从遗留的面向对象数据库（Objectivity/DB）高效迁移大规模、高速度的数据至现代关系型与文件系统结合的新架构？
• RQ2 何种系统架构能够同时实现高效的传输速率（约100MB/s）与对现有C++应用程序的完全向后兼容性？
• RQ3 如何有效分离元数据与事件数据，以支持可扩展的查询与直接访问，同时保持高性能？
• RQ4 标准文件系统与关系型数据库在高能物理实验中替代专有持久化解决方案中扮演何种角色？
• RQ5 如何利用开放标准与广泛可用的基础设施，在大规模环境中部署生产级数据管理系统？

主要发现

• 迁移成功在预定截止日期前，将超过300TB的数据从Objectivity/DB完整迁移至新系统，覆盖COMPASS与HARP实验。
• 通过使用30台Linux服务器与14台磁带驱动器，实现了约100MB/s的持续数据传输速率，高效处理大规模数据。
• 新系统基于Oracle9i存储元数据、平面文件存储事件数据，全面支持通用查询与直接导航访问。
• 原始C++用户API得以保留，确保与现有应用程序无缝集成，最大限度减少对用户的影响。
• 在Oracle9i服务器上部署中央数据仓库，并结合CASTOR存储，为长期数据持久化提供了可扩展且可靠的基础设施。
• 该迁移证明了在高能物理数据管理中，使用标准关系型数据库和平面文件替代专有数据库系统的可行性。