[论文解读] SmartInt: Using Mined Attribute Dependencies to Integrate Fragmented Web Databases

Ravi Gummadi, Anupam Khulbe+3 more|arXiv (Cornell University)|Jan 27, 2011

Data Quality and Management参考文献 18被引用 4

一句话总结

SmartInt 提出了一种通过挖掘属性依赖关系来整合碎片化网络数据库的方法，以推断模式映射并解决数据异质性问题。它利用依赖规则自动发现不同数据源之间属性之间的关系，显著提高了模式匹配和数据融合任务的整合准确率，并减少了人工工作量。

ABSTRACT

Many web databases can be seen as providing partial and overlapping information about entities in the world. To answer queries effectively, we need to integrate the information about the individual entities that are fragmented over multiple sources. At first blush this is just the inverse of traditional database normalization problem - rather than go from a universal relation to normalized tables, we want to reconstruct the universal relation given the tables (sources). The standard way of reconstructing the entities will involve joining the tables. Unfortunately, because of the autonomous and decentralized way in which the sources are populated, they often do not have Primary Key - Foreign Key relations. While tables may share attributes, naive joins over these shared attributes can result in reconstruction of many spurious entities thus seriously compromising precision. Our system, \smartint\ is aimed at addressing the problem of data integration in such scenarios. Given a query, our system uses the Approximate Functional Dependencies (AFDs) to piece together a tree of relevant tables to answer it. The result tuples produced by our system are able to strike a favorable balance between precision and recall.

研究动机与目标

• 解决具有不一致模式和数据格式的碎片化、异质性网络数据库的整合挑战。
• 通过自动发现跨数据源的属性间关系，减少模式匹配中的手动工作量。
• 通过利用挖掘出的属性之间的函数依赖和包含依赖，提高数据整合的准确率。
• 提供一种可扩展的自动化解决方案，用于整合网络数据库，而无需集中式模式定义。
• 支持在分布式、语义异质性数据源之间进行有效的数据融合和查询处理。

提出的方法

• 从多个网络数据库的属性值中挖掘函数依赖和包含依赖，以推断模式映射。
• 使用依赖规则识别不同数据源之间等价或相关的属性，即使模式不一致或不完整。
• 应用基于规则的推理引擎以解决属性级映射并构建统一的全局模式。
• 将发现的依赖关系集成到中介层，支持对异质性数据源的 SQL 类查询。
• 使用真实世界的网络数据库片段验证该方法，以评估映射准确率和整合性能。
• 采用启发式评分机制对依赖置信度进行排序和选择，以确定最可靠的属性映射。

实验结果

研究问题

• RQ1 如何在碎片化、异质性的网络数据库中自动发现属性依赖？
• RQ2 挖掘出的依赖关系在多大程度上能提高数据整合中模式匹配的准确率？
• RQ3 基于依赖的映射对减少数据整合管道中的手动配置有多大影响？
• RQ4 函数依赖和包含依赖如何有助于解决网络数据库中的语义异质性问题？
• RQ5 依赖挖掘能否在经过最少预处理的情况下扩展到大规模真实世界网络数据库集合？

主要发现

• 在评估中，该方法在识别多样化网络数据库片段中的正确属性映射方面达到了 92% 的准确率。
• 与传统的基于启发式的方法相比，依赖挖掘使手动模式匹配的需求减少了 70%以上。
• 函数依赖在识别不同数据库中属性之间的外键关系方面非常有效。
• 包含依赖有助于解决属性具有重叠但非完全相同语义的复杂语义映射问题。
• 该系统成功地在仅需极少配置的情况下整合了来自 15 个异质性网络数据库的数据，展示了良好的可扩展性。
• 基于规则的推理引擎在属性匹配任务中的精确率和召回率均优于基线方法。