[论文解读] Semantic Annotation for Tabular Data

Udayan Khurana, Sainyam Galhotra|arXiv (Cornell University)|Dec 15, 2020

Time Series Analysis and Forecasting参考文献 29被引用 7

一句话总结

本文提出 $C^{2}$，一种列到概念的映射器，通过在开放网络表格和知识图谱（如 DBPedia、Wikidata）的集成数据上使用最大似然估计，实现对表格数据的鲁棒、可扩展的语义标注。其性能优于先前方法，尤其在数值型和稀有类型上表现突出，在9个数据集上达到62.9%的top-1准确率，显著优于 Sherlock、SATO 和 Colnet。

ABSTRACT

Detecting semantic concept of columns in tabular data is of particular interest to many applications ranging from data integration, cleaning, search to feature engineering and model building in machine learning. Recently, several works have proposed supervised learning-based or heuristic pattern-based approaches to semantic type annotation. Both have shortcomings that prevent them from generalizing over a large number of concepts or examples. Many neural network based methods also present scalability issues. Additionally, none of the known methods works well for numerical data. We propose $C^2$, a column to concept mapper that is based on a maximum likelihood estimation approach through ensembles. It is able to effectively utilize vast amounts of, albeit somewhat noisy, openly available table corpora in addition to two popular knowledge graphs to perform effective and efficient concept prediction for structured data. We demonstrate the effectiveness of $C^2$ over available techniques on 9 datasets, the most comprehensive comparison on this topic so far.

研究动机与目标

• 解决现有基于规则和监督学习方法在表格列语义类型标注中泛化能力不足的问题。
• 克服在处理数值数据、稀有语义类型以及在数千个概念的多分类任务中可扩展性不足的局限。
• 利用大规模、噪声较多的开放数据源（网络表格、知识图谱），无需标准训练数据或每个概念的分类器。
• 提升在低资源和数值列上的性能，这些场景下先前的深度学习模型表现不佳。
• 开发一种方法，在语义类型数量增至数千个时仍能保持高准确率。

提出的方法

• 使用最大似然估计整合来自多个来源的证据：开放网络表格和经过整理的知识图谱（DBPedia、Wikidata）。
• 通过概念间的置信度共享传播，提升预测鲁棒性，尤其在处理稀有或模糊类型时。
• 应用概念对和元组验证，利用相邻列间的共现模式过滤不一致或噪声预测。
• 设计集成框架，聚合来自多样化数据源的预测结果，通过统计建模将噪声视为可管理因素。
• 通过避免为每个概念训练分类器，优化推理效率，实现在大规模数据集上快速预测。
• 通过建模数值列的值分布和模式（如人口、面积）而非依赖命名实体匹配，来处理数值列。

实验结果

研究问题

• RQ1 在多样化、噪声较多的开放数据源上采用最大似然估计方法，是否能在语义类型标注中优于监督学习和启发式方法？
• RQ2 该集成框架在先前模型失效的数值型和稀有语义类型上，效果如何？
• RQ3 置信度共享和概念对/元组验证在多大程度上提升了预测准确率和鲁棒性？
• RQ4 该方法能否在无需每个类型训练数据或分类器的情况下，扩展到数千个语义类型？
• RQ5 在包含数值列的多样化数据集上，$C^{2}$ 与 Sherlock、SATO 和 Colnet 等最先进模型相比，性能如何？

主要发现

• $C^{2}$ 在9个数据集上达到62.9%的top-1准确率，显著优于同一基准测试中 Sherlock（26.6%）和 SATO（26.0%）。
• 仅针对数值列，$C^{2}$ 达到41.2%的top-1准确率，证明其在先前模型表现不佳的场景中依然有效。
• 当禁用置信度共享时，$C^{2}$ 的top-1准确率下降至51.0%，表明其在性能提升中起关键作用。
• 禁用概念对和元组验证后，top-1准确率降至60.6%，证实其在噪声过滤和准确率提升中的贡献。
• 在四个较小的数据集上，$C^{2}$ 达到60.0%的top-1准确率，而 Colnet 仅为13.9%；Colnet 的推理时间长达12小时，而 $C^{2}$ 仅需几分钟。
• 该方法保持高效率，推理时间与 SATO 和 Sherlock 相当，显著快于 Colnet 和 HNN。