[论文解读] Semantic Labeling Using a Deep Contextualized Language Model

Mohamed Trabelsi, Jin Cao+1 more|arXiv (Cornell University)|Oct 30, 2020

Data Quality and Management参考文献 43被引用 8

一句话总结

本文提出 SeLaB，一种上下文感知的语义标注方法，利用 BERT 联合建模表格中列值及其上下文关系，以提升模式标签预测性能。通过将表格视为序列输入并引入预测标签作为上下文，SeLaB 在真实世界数据集上实现了最先进性能，显著优于仅基于值的方法，并减少了标签预测中的歧义。

ABSTRACT

Generating schema labels automatically for column values of data tables has many data science applications such as schema matching, and data discovery and linking. For example, automatically extracted tables with missing headers can be filled by the predicted schema labels which significantly minimizes human effort. Furthermore, the predicted labels can reduce the impact of inconsistent names across multiple data tables. Understanding the connection between column values and contextual information is an important yet neglected aspect as previously proposed methods treat each column independently. In this paper, we propose a context-aware semantic labeling method using both the column values and context. Our new method is based on a new setting for semantic labeling, where we sequentially predict labels for an input table with missing headers. We incorporate both the values and context of each data column using the pre-trained contextualized language model, BERT, that has achieved significant improvements in multiple natural language processing tasks. To our knowledge, we are the first to successfully apply BERT to solve the semantic labeling task. We evaluate our approach using two real-world datasets from different domains, and we demonstrate substantial improvements in terms of evaluation metrics over state-of-the-art feature-based methods.

研究动机与目标

• 为解决现有语义标注方法将列孤立处理、忽略列间上下文关系的局限性。
• 通过消除手动特征工程的需求，减少模式标注的人工投入。
• 通过使用预训练语言模型同时整合列值和表格级上下文，提升标签预测的准确性。
• 开发一个端到端可训练的模型，联合学习表示并预测模式标签。
• 在多样化的真实世界数据集上评估该方法，并证明其在不同类型数据和表格结构下的鲁棒性。

提出的方法

• 该方法采用序列预测框架，其中每个列的标签均在同表中先前预测标签的上下文中进行预测。
• 它使用 BERT 编码列的值以及由其他列（包括已预测标签）提供的上下文。
• 模型端到端训练，从上下文化表示中预测模式标签，避免手工特征工程。
• 输入表示结合列值和位置嵌入，训练期间对标签进行掩码，以模拟缺失的表头。
• 该框架在推理过程中支持表头的完全或部分掩码，即使在上下文不完整的情况下也能实现鲁棒预测。
• 该模型利用预训练的上下文化嵌入，捕捉列之间的语义关系，从而改善相似值的歧义消除。

实验结果

研究问题

• RQ1 与仅基于值的方法相比，引入列上下文是否能显著提升语义标签预测的准确性？
• RQ2 序列化、上下文感知的预测机制在多大程度上减少了对具有相似值的列进行标注时的歧义？
• RQ3 与传统基于特征的方法相比，使用 BERT 进行端到端训练在语义标注中是否显著更优？
• RQ4 每类标签的训练样本数量如何影响上下文感知模型的性能？
• RQ5 先前预测的上下文是否与真实标签上下文一样有效，可用于下游标签预测？

主要发现

• SeLaB 在 WikiTables 和 Log tables 数据集上，相较于最先进基于特征的方法，显著提升了 top-1 准确率。
• 即使在 100% 表头被掩码的情况下，模型仍表现出色，表明预测的上下文几乎与真实标签上下文一样有效。
• 字符串列的标注准确率高于数值列，因为数值列更易产生歧义，导致更高的预测误差。
• 随着每类标签训练样本数量的增加，性能显著提升，尤其在超过 20 个样本后；SeLaB 即使在罕见标签上也保持高准确率。
• 模型能成功纠正初始误判——例如，通过利用邻近列的上下文线索，将 'home team' 与 'away team' 区分出来。
• 局部平滑分析显示，SeLaB 在所有标签频率范围内均持续优于 '仅使用值的 BERT'，尤其在低频和中频标签上优势明显。