[论文解读] Web data modeling for integration in data warehouses

Sami Miniaoui, Jérôme Darmont+1 more|arXiv (Cornell University)|May 10, 2007

Advanced Database Systems and Queries参考文献 11被引用 7

一句话总结

本文提出一种基于UML的概念模型，通过将异构网络数据（如文本、图像、XML和多媒体）转换为XML逻辑模型，实现其向数据仓库的集成。该方法支持统一存储、通过DTD实现元数据增强，并可无缝映射至关系型数据库，从而提升OLAP和数据挖掘的数据准备质量，同时支持可扩展性与性能优化。

ABSTRACT

In a data warehousing process, the data preparation phase is crucial. Mastering this phase allows substantial gains in terms of time and performance when performing a multidimensional analysis or using data mining algorithms. Furthermore, a data warehouse can require external data. The web is a prevalent data source in this context, but the data broadcasted on this medium are very heterogeneous. We propose in this paper a UML conceptual model for a complex object representing a superclass of any useful data source (databases, plain texts, HTML and XML documents, images, sounds, video clips...). The translation into a logical model is achieved with XML, which helps integrating all these diverse, heterogeneous data into a unified format, and whose schema definition provides first-rate metadata in our data warehousing context. Moreover, we benefit from XML's flexibility, extensibility and from the richness of the semi-structured data model, but we are still able to later map XML documents into a database if more structuring is needed.

研究动机与目标

• 解决将高度异构的网络数据（文本、图像、XML、多媒体）集成到数据仓库中的挑战。
• 在单一概念模型下统一多种数据源，支持结构化与半结构化数据。
• 通过整合语义与结构智能，超越基本ETL流程，增强多维分析与数据挖掘的数据准备能力。
• 实现从XML逻辑模型到关系型或对象关系型数据库的高效映射，以优化性能与查询效率。
• 利用XML Schema特性（如类型化与继承）支持未来可扩展性。

提出的方法

• 设计一种UML概念模型，用于复杂对象，以概括网络中所有多格式数据类型。
• 将UML模型转换为XML文档类型定义（DTD），以在单一格式中表示数据与元数据。
• 利用XML的灵活性与可扩展性，将HTML、XML、纯文本、图像和音频等多种数据源封装于单一逻辑结构中。
• 通过既定技术实现从XML文档到传统关系型数据库的映射，以提升查询性能与数据结构化能力。
• 利用XML的半结构化特性，支持丰富的元数据描述（如大小、格式、关键词、尺寸），而无需预先强制执行严格模式。
• 规划在数据准备阶段集成数据挖掘技术，以提取特征（如关键词、颜色分布或纹理），用于索引与聚合。

实验结果

研究问题

• RQ1 如何通过单一概念模型统一多种异构的网络数据源，以用于数据仓库？
• RQ2 在逻辑数据模型中，表示多格式数据的数据与元数据的最有效方式是什么？
• RQ3 在数据仓库背景下，XML如何作为半结构化数据与结构化关系型数据库之间的桥梁？
• RQ4 智能预处理（如自动关键词提取或特征检测）在增强OLAP与数据挖掘的数据准备方面发挥什么作用？
• RQ5 如何在可扩展的数据仓库架构中管理不断演变的数据源与使用模式？

主要发现

• 所提出的UML-to-XML模型成功将文本、图像、XML和多媒体等多种数据类型统一到单一、可扩展的概念框架中。
• 使用XML DTD提供了第一流的元数据支持，可丰富描述数据特征，如大小、格式、语言和关键词。
• 逻辑模型支持直接映射到关系型数据库，确保与现有数据仓库基础设施的兼容性及查询优化能力。
• 该方法超越基本ETL流程，在数据准备中嵌入智能处理，如自动特征提取（如颜色、纹理）与关键词生成。
• 通过XML Schema支持未来增强，包括高级类型化与继承，这些功能在DTD中不可用。
• 该框架支持基于使用模式的物理数据重组，从而提升多维分析中的查询响应速度。