[论文解读] Sherlock: A Deep Learning Approach to Semantic Data Type Detection

Madelon Hulsebos, Kevin Hu+6 more|arXiv (Cornell University)|May 25, 2019

Topic Modeling参考文献 27被引用 12

一句话总结

Sherlock 是一个深度学习模型，通过在 VizNet 语料库中的 686,765 个真实世界数据列上训练的多输入神经网络，检测语义数据类型。它实现了 0.89 的支持加权 F1 分数，通过利用 1,588 种多样化的特征（包括字符分布、词嵌入和段落向量），在性能上超越了传统基于规则的方法和机器学习基线模型。

ABSTRACT

Correctly detecting the semantic type of data columns is crucial for data science tasks such as automated data cleaning, schema matching, and data discovery. Existing data preparation and analysis systems rely on dictionary lookups and regular expression matching to detect semantic types. However, these matching-based approaches often are not robust to dirty data and only detect a limited number of types. We introduce Sherlock, a multi-input deep neural network for detecting semantic types. We train Sherlock on $686,765$ data columns retrieved from the VizNet corpus by matching $78$ semantic types from DBpedia to column headers. We characterize each matched column with $1,588$ features describing the statistical properties, character distributions, word embeddings, and paragraph vectors of column values. Sherlock achieves a support-weighted F$_1$ score of $0.89$, exceeding that of machine learning baselines, dictionary and regular expression benchmarks, and the consensus of crowdsourced annotations.

研究动机与目标

• 为解决基于规则和基于字典的方法在检测语义数据类型时的局限性，这些方法在脏数据或非结构化数据上常会失效。
• 通过实现对位置、日期和姓名等细粒度语义类型准确检测，改进数据科学工作流程。
• 开发一个可扩展、鲁棒的语义类型检测模型，使其能泛化于多样化的现实世界数据集。
• 提供一个公开可用、可训练的系统，支持企业或特定领域数据类型的定制。

提出的方法

• 该模型使用多输入深度神经网络架构，处理从数据列中提取的异构特征。
• 特征包括统计属性（例如，基数、唯一性）、字符级分布、词嵌入和段落向量。
• 语义类型通过 DBpedia 本体映射推导得出，使用列标题与 78 种预定义语义类型之间的精确匹配。
• 训练数据由来自 VizNet 语料库的 686,765 个列组成，列标题用作真实标签。
• 该模型作为多分类分类任务进行训练，并针对数据质量问题（如缺失值和格式不一致）进行了微调以增强鲁棒性。
• Sherlock 以 Python 库形式发布，可立即使用，并包含开源训练脚本，支持在自定义数据上重新训练。

实验结果

研究问题

• RQ1 深度学习模型是否能在真实世界脏数据上，优于基于规则和传统机器学习方法，实现语义数据类型的检测？
• RQ2 多输入神经网络在捕捉跨多样化特征类型（如字符级、基于嵌入、统计型）的复杂模式方面，对语义类型分类的有效性如何？
• RQ3 与经过筛选或合成的数据集相比，在大规模真实世界数据语料库上进行训练，是否能显著提升泛化能力和鲁棒性？
• RQ4 深度学习模型是否能在涵盖 78 种语义类型的大范围内实现高性能，同时保持可解释性和实际可用性？

主要发现

• Sherlock 实现了 0.89 的支持加权 F1 分数，显著优于基线模型、字典查找和正则表达式方法。
• 该模型的性能超过众包标注的一致性共识，表明其在语义类型检测中具有高度的可靠性与一致性。
• 使用 1,588 种多样化的特征（包括词嵌入、字符分布和段落向量）使模型即使在噪声大或格式错误的数据上也能实现稳健检测。
• 该模型在多种数据源上表现出良好的泛化能力，包括网络抓取的表格、可视化系统和开放数据门户。
• 模型、训练脚本和数据集的开源发布，为未来研究和特定领域语义类型定制提供了支持。
• 本研究识别出关键的未来方向，包括扩展训练数据、丰富特征集合，以及为语义类型检测建立共享基准。