[论文解读] The Conceptual Integration Modeling Framework: Abstracting from the Multidimensional Model

Flavio Rizzolo, Iluju Kiringa+2 more|arXiv (Cornell University)|Sep 1, 2010

Advanced Database Systems and Queries参考文献 25被引用 15

一句话总结

本文提出了概念集成建模（CIM）框架，这是一种自上而下的数据仓库构建方法，使业务用户能够通过高层次的概念模型指定多维业务信息需求。该框架在设计时将此模型映射到现有的逻辑多维模式，并在运行时动态生成可查询视图，从而实现自动化的、需求驱动的数据仓库构建，减少对人工、自下而上的ETL过程的依赖。

ABSTRACT

Data warehouses are overwhelmingly built through a bottom-up process, which starts with the identification of sources, continues with the extraction and transformation of data from these sources, and then loads the data into a set of data marts according to desired multidimensional relational schemas. End user business intelligence tools are added on top of the materialized multidimensional schemas to drive decision making in an organization. Unfortunately, this bottom-up approach is costly both in terms of the skilled users needed and the sheer size of the warehouses. This paper proposes a top-down framework in which data warehousing is driven by a conceptual model. The framework offers both design time and run time environments. At design time, a business user first uses the conceptual modeling language as a multidimensional object model to specify what business information is needed; then she maps the conceptual model to a pre-existing logical multidimensional representation. At run time, a system will transform the user conceptual model together with the mappings into views over the logical multidimensional representation. We focus on how the user can conceptually abstract from an existing data warehouse, and on how this conceptual model can be mapped to the logical multidimensional representation. We also give an indication of what query language is used over the conceptual model. Finally, we argue that our framework is a step along the way to allowing automatic generation of the data warehouse.

研究动机与目标

• 解决传统自下而上的数据仓库开发中因以源数据为导向而非业务用户需求而带来的高成本和高复杂性问题。
• 使业务用户能够以概念化、面向业务的层次指定数据需求，而非通过技术性模式。
• 通过正式的概念建模框架弥合业务智能需求与技术性数据仓库实现之间的差距。
• 通过将概念模型映射到逻辑多维模式，支持动态、按需生成数据仓库。
• 通过从现有多维模型中抽象化，为完全自动化的数据仓库构建奠定基础。

提出的方法

• 该框架采用双模型方法：CIM可视化模型（CVM）用于概念化和可视化指定，CIM数据模型（CDM）作为基于XML的、系统特定的表示形式。
• 采用受StarER和MultiDim启发的扩展实体-关系模型，用于表示多维业务概念，如事实、维度和层次结构。
• 使用可视化映射语言（MVL）将概念模型转换为逻辑多维表示，确保语义保真度。
• 系统从概念模型和映射关系中生成运行时视图，使用户能够直接在逻辑模式上进行查询。
• 定义了一种概念查询语言（CVL），允许用户直接对高层次的概念模型提出查询。
• 实现中利用Mondrian OLAP服务器作为后端数据存储，展示了与现有多维系统的集成能力。

实验结果

研究问题

• RQ1 如何通过概念建模框架提升数据仓库设计的抽象层次，以更好地契合业务用户需求？
• RQ2 哪些机制能够实现将高层次概念模型映射到现有逻辑多维模式？
• RQ3 如何高效地处理并转换在概念模型上提出的查询，生成可在底层多维模式上执行的查询？
• RQ4 概念模型在多大程度上能够驱动自动化的数据仓库构建，从而减少手动ETL工作量？
• RQ5 哪些架构模式支持从概念规范动态生成、按需访问的数据仓库视图？

主要发现

• CIM框架通过引入正式的概念建模层，成功地将业务用户需求与技术模式设计解耦。
• 该框架通过在现有多维模式之上生成可执行视图，实现了对概念模型的动态查询处理。
• 使用可视化映射语言可实现从概念模型到逻辑模式表示的精确且可维护的转换。
• 通过与Mondrian OLAP引擎的集成，该方法在运行时查询执行方面验证了可行性。
• 该框架为自动化的数据仓库生成提供了原则性基础，推动了从静态、自下而上的设计向动态、需求驱动范式的转变。
• 研究识别出在概念模型上实现可处理的查询处理是未来的关键挑战，当前工作正集中于可扩展性和性能优化。