[论文解读] Semantics-aware Dataset Discovery from Data Lakes with Contextualized Column-based Representation Learning

Grace Fan, Jin Wang+3 more|arXiv (Cornell University)|Oct 4, 2022

Data Quality and Management被引用 5

一句话总结

该论文提出 Starmie，一种用于数据湖中语义感知数据集发现的端到端框架，通过对比、上下文化的列表示学习实现。通过在预训练语言模型上以完全无监督的方式训练多列 Transformer 编码器，Starmie 利用列嵌入之间的余弦相似度计算并集可操作性得分，相比最先进方法在 MAP 和召回率上分别提升 6.8 分，同时通过 HNSW 索引将查询处理速度提升 3,000 倍，远超线性扫描。

ABSTRACT

Dataset discovery from data lakes is essential in many real application scenarios. In this paper, we propose Starmie, an end-to-end framework for dataset discovery from data lakes (with table union search as the main use case). Our proposed framework features a contrastive learning method to train column encoders from pre-trained language models in a fully unsupervised manner. The column encoder of Starmie captures the rich contextual semantic information within tables by leveraging a contrastive multi-column pre-training strategy. We utilize the cosine similarity between column embedding vectors as the column unionability score and propose a filter-and-verification framework that allows exploring a variety of design choices to compute the unionability score between two tables accordingly. Empirical evaluation results on real table benchmark datasets show that Starmie outperforms the best-known solutions in the effectiveness of table union search by 6.8 in MAP and recall. Moreover, Starmie is the first to employ the HNSW (Hierarchical Navigable Small World) index for accelerate query processing of table union search which provides a 3,000X performance gain over the linear scan baseline and a 400X performance gain over an LSH index (the state-of-the-art solution for data lake indexing).

研究动机与目标

• 为解决由于元数据不一致和不完整导致的关键字和语法搜索在数据湖发现中的局限性。
• 通过捕捉表中各列之间的丰富上下文语义信息，提升表并集搜索的准确性。
• 开发一种完全无监督、可扩展的框架，用于数据集发现，以适应多样化的数据湖环境。
• 通过高效索引结构（如 HNSW）加速大规模环境下的表并集搜索。

提出的方法

• 利用对比多列预训练策略，在无标签数据上对预训练语言模型进行列编码器训练。
• 采用多列表 Transformer 编码器，建模表中列之间的上下文关系。
• 通过学习到的列嵌入向量之间的余弦相似度计算并集可操作性得分。
• 提出一种过滤与验证框架，用于探索计算并集可操作性得分的不同设计选择。
• 利用 HNSW（分层可导航小世界）索引，加速大规模数据湖中的查询处理。
• 通过对比学习以自监督方式训练列编码器，最大化正样本列对之间的一致性，同时最小化负样本列对之间的一致性。

Figure 1 . An example of table union search on Open Data.

实验结果

研究问题

• RQ1 自监督、上下文化的列表示学习能否提升数据湖中表并集搜索的准确性？
• RQ2 在无标签数据下，对比学习在捕捉列之间语义和上下文关系方面的有效性如何？
• RQ3 像 HNSW 这样的高效索引结构能否显著加速大规模环境下的表并集搜索？
• RQ4 在真实世界基准测试中，所提出的框架在精确率、召回率和 MAP 上与现有解决方案相比表现如何？

主要发现

• Starmie 在真实表基准测试中，相比最佳已知解决方案，平均平均精度（MAP）和召回率分别提升 6.8 分。
• 通过 HNSW 索引，框架相比线性扫描实现 3,000 倍性能提升，相比 LSH 索引实现 400 倍性能提升。
• Starmie 是首个将对比学习应用于表并集搜索的框架，实现了完全无监督、上下文感知的列表示学习。
• 多列 Transformer 编码器有效捕捉了列间上下文信息，提升了并集可操作性预测的准确性。
• 过滤与验证框架能够基于学习到的嵌入，灵活且高效地计算表并集可操作性得分。
• 源代码、数据和相关成果已公开发布于 https://github.com/megagonlabs/starmie。

Figure 2 . During the offline phase, $\mathsf{Starmie}$ pre-trains a multi-column table encoder using contrastive learning and stores the embeddings of data lake columns in vector indices like HNSW. During online processing, $\mathsf{Starmie}$ retrieves candidate tables with similar contextualized c