[论文解读] PromptEM: Prompt-tuning for Low-resource Generalized Entity Matching

Pengfei Wang, Xiaocan Zeng+5 more|arXiv (Cornell University)|Jul 11, 2022

Data Quality and Management被引用 5

一句话总结

PromptEM 是一种针对低资源广义实体匹配（GEM）的新型提示微调方法，通过将 GEM 重新表述为填空式任务，弥合了预训练语言模型在预训练与微调目标之间的差距。它通过不确定性感知的自训练和动态数据剪枝，在仅使用极少标注数据的情况下实现了最先进性能，在八个真实世界基准上优于现有方法。

ABSTRACT

Entity Matching (EM), which aims to identify whether two entity records from two relational tables refer to the same real-world entity, is one of the fundamental problems in data management. Traditional EM assumes that two tables are homogeneous with the aligned schema, while it is common that entity records of different formats (e.g., relational, semi-structured, or textual types) involve in practical scenarios. It is not practical to unify their schemas due to the different formats. To support EM on format-different entity records, Generalized Entity Matching (GEM) has been proposed and gained much attention recently. To do GEM, existing methods typically perform in a supervised learning way, which relies on a large amount of high-quality labeled examples. However, the labeling process is extremely labor-intensive, and frustrates the use of GEM. Low-resource GEM, i.e., GEM that only requires a small number of labeled examples, becomes an urgent need. To this end, this paper, for the first time, focuses on the low-resource GEM and proposes a novel low-resource GEM method, termed as PromptEM. PromptEM has addressed three challenging issues (i.e., designing GEM-specific prompt-tuning, improving pseudo-labels quality, and running efficient self-training) in low-resource GEM. Extensive experimental results on eight real benchmarks demonstrate the superiority of PromptEM in terms of effectiveness and efficiency.

研究动机与目标

• 解决低资源广义实体匹配（GEM）中的挑战，即标注数据稀缺且获取成本高昂。
• 克服预训练语言模型（PLMs）在 GEM 任务中预训练与微调目标之间的性能差距。
• 开发一种高效且有效的自训练框架，利用未标注数据生成的伪标签，降低对标注样本的依赖。
• 设计针对任务的提示模板和标签词，专用于 GEM，以提升零样本和少样本泛化能力。
• 实现在异构数据格式（如表格、JSON、文本）之间无需模式对齐的有效匹配

提出的方法

• 将 GEM 重新表述为填空式提示微调任务，模型基于提示模板预测被掩码的标签词（例如 'same' 或 'different'）。
• 设计针对 GEM 的提示模板（例如 '两个实体是否 [[MASK]]？'）和标签词集（'same', 'different'），以与预训练目标对齐。
• 实现轻量级的自训练流程，使用教师模型在未标注数据上生成伪标签。
• 应用不确定性感知的伪标签选择策略，过滤低置信度预测，提升伪标注数据的质量。
• 引入动态数据剪枝策略，在训练过程中移除低质量的伪标注样本，提升效率与鲁棒性。
• 在原始标注数据与高置信度伪标注数据的组合数据集上微调学生模型

实验结果

研究问题

• RQ1 提示微调能否有效弥合广义实体匹配中预训练与微调目标之间的差距？
• RQ2 在标注数据极少的低资源 GEM 场景下，如何实现高效且有效的自训练？
• RQ3 不确定性感知的伪标签选择在低资源条件下对模型泛化能力的提升起到何种作用？
• RQ4 轻量级的动态剪枝策略是否能在降低计算成本的同时保持性能？
• RQ5 与监督和无监督基线方法相比，PromptEM 在多种数据格式下的有效性与可扩展性如何？

主要发现

• PromptEM 在八个真实世界 GEM 基准上达到最先进性能，优于现有监督和无监督方法。
• 不确定性感知的伪标签选择策略在平均 TPR 为 0.88、TNR 为 0.99，表明伪标签质量高。
• 动态数据剪枝显著降低训练成本与内存占用，使自训练在大规模数据集上也具备可扩展性。
• PromptEM 显著减少了对标注数据的需求——仅使用数百个标注样本即可实现优异性能。
• 该方法在异构数据格式（关系型、半结构化、文本型）之间展现出卓越的鲁棒性与泛化能力。
• 与 TDmatch 相比，PromptEM 将 SEMI-REL 数据集上的训练时间从超过 120 小时缩短至 10 小时以内，内存使用从 130 GB 降低至 30 GB 以下。