[论文解读] Warehousing Web Data

Jérôme Darmont, Omar Boussaïd+1 more|arXiv (Cornell University)|May 10, 2007

Advanced Database Systems and Queries参考文献 23被引用 4

一句话总结

本文提出了一套全面的建模框架，用于将异构网络数据整合到统一的数据仓库格式中。该框架使用UML进行概念建模，使用XML Schema进行逻辑表示，并通过Java原型将多格式数据转换为XML，以关系型ODS形式存储，从而支持后续通过星型模式进行多维建模，实现高效分析与数据挖掘。

ABSTRACT

In a data warehousing process, mastering the data preparation phase allows substantial gains in terms of time and performance when performing multidimensional analysis or using data mining algorithms. Furthermore, a data warehouse can require external data. The web is a prevalent data source in this context. In this paper, we propose a modeling process for integrating diverse and heterogeneous (so-called multiform) data into a unified format. Furthermore, the very schema definition provides first-rate metadata in our data warehousing context. At the conceptual level, a complex object is represented in UML. Our logical model is an XML schema that can be described with a DTD or the XML-Schema language. Eventually, we have designed a Java prototype that transforms our multiform input data into XML documents representing our physical model. Then, the XML documents we obtain are mapped into a relational database we view as an ODS (Operational Data Storage), whose content will have to be re-modeled in a multidimensional way to allow its storage in a star schema-based warehouse and, later, its analysis.

研究动机与目标

• 解决将多样化、异构的网络数据源整合到统一数据仓库环境中的挑战。
• 提升数据准备效率，以减少多维分析与数据挖掘中的时间消耗并提高性能。
• 通过模式定义提供一流的元数据，以支持数据血缘与数据质量。
• 实现将多格式（结构化、半结构化、非结构化）网络数据转换为标准化、机器可处理的格式。
• 建立从原始网络数据到操作数据存储（ODS）的端到端数据处理管道，以支持后续的多维建模与分析。

提出的方法

• 使用UML类图对多格式数据的概念模式进行建模，以表示复杂对象及其关系。
• 使用XML Schema（XSD）定义逻辑数据模型，以标准化异构数据的表示方式。
• 开发基于Java的原型系统，用于解析并转换多种输入数据格式为标准化的XML文档。
• 将生成的XML文档映射到关系型操作数据存储（ODS）中，用于临时存储与处理。
• 支持将ODS内容后续转换为星型模式，以实现长期的多维数据仓库存储。
• 利用模式定义本身作为丰富元数据的来源，以支持数据血缘、数据质量与数据集成。

实验结果

研究问题

• RQ1 如何有效建模并整合异构且多格式的网络数据，使其融入统一的数据仓库框架？
• RQ2 在数据仓库过程中，模式定义在提供一流元数据方面发挥何种作用？
• RQ3 如何系统性地将概念性的UML模型转换为用于数据标准化的逻辑XML Schema？
• RQ4 使用Java原型将多样化网络数据转换为结构化XML以供ODS加载，其可行性与有效性如何？
• RQ5 所提出的从网络数据到ODS再到星型模式的数据处理管道，如何支持高效多维分析与数据挖掘？

主要发现

• 所提出的建模管道成功利用UML与XML Schema将异构网络数据转换为标准化的XML格式。
• 逻辑XML Schema模型通过其结构本身提供内在元数据，增强了对数据的理解与血缘追踪能力。
• Java原型展示了将多格式数据自动转换为XML以供ODS集成的可行性。
• ODS作为有效的中间存储层，支持后续转换为星型模式，以实现多维分析。
• 整个数据处理管道支持高效的数据准备，显著减少时间消耗，并提升下游数据挖掘与OLAP操作的性能。
• 该方法支持将外部网络数据可扩展地集成到企业级数据仓库系统中，同时提升数据质量与一致性。