[论文解读] Unsupervised Abbreviation Disambiguation Contextual disambiguation using word embeddings

Manuel R. Ciosici, Tobias Sommer+1 more|arXiv (Cornell University)|Apr 1, 2019

Natural Language Processing Techniques参考文献 23被引用 6

一句话总结

本文提出无监督缩写消歧（UAD），一种利用词嵌入在无标注数据下通过学习每个全称含义及其上下文用法的独特向量表示来实现缩写消歧的方法。UAD在大规模真实世界数据集上达到最先进性能，并引入预评估分析功能，可在无需昂贵实际评估的情况下识别难以消歧的缩写，从而实现数千个歧义缩写在实际领域的可部署应用。

ABSTRACT

Abbreviations often have several distinct meanings, often making their use in text ambiguous. Expanding them to their intended meaning in context is important for Machine Reading tasks such as document search, recommendation and question answering. Existing approaches mostly rely on manually labeled examples of abbreviations and their correct long-forms. Such data sets are costly to create and result in trained models with limited applicability and flexibility. Importantly, most current methods must be subjected to a full empirical evaluation in order to understand their limitations, which is cumbersome in practice. In this paper, we present an entirely unsupervised abbreviation disambiguation method (called UAD) that picks up abbreviation definitions from unstructured text. Creating distinct tokens per meaning, we learn context representations as word vectors. We demonstrate how to further boost abbreviation disambiguation performance by obtaining better context representations using additional unstructured text. Our method is the first abbreviation disambiguation approach with a transparent model that allows performance analysis without requiring full-scale evaluation, making it highly relevant for real-world deployments. In our thorough empirical evaluation, UAD achieves high performance on large real-world data sets from different domains and outperforms both baseline and state-of-the-art methods. UAD scales well and supports thousands of abbreviations with multiple different meanings within a single model. In order to spur more research into abbreviation disambiguation, we publish a new data set, that we also use in our experiments.

研究动机与目标

• 解决依赖人工标注数据的监督式缩写消歧方法所面临的高成本和可扩展性有限的问题。
• 开发一种完全无监督的方法，自动从非结构化文本中提取缩写及其全称含义。
• 实现在无需完整人工标注测试集的情况下进行性能分析。
• 通过利用外部非结构化文本提升上下文表征质量，从而提高消歧性能。
• 发布一个大规模真实世界数据集，以支持可复现性及未来在缩写消歧领域的研究。

提出的方法

• UAD为每个全称含义学习一个独立的词向量，将其视为嵌入空间中的唯一标记。
• 通过在非结构化文本上训练词嵌入来构建上下文表征，捕捉缩写与其周围上下文之间的语义关系。
• 通过计算上下文向量与全称向量之间的余弦相似度，识别歧义缩写最可能的含义。
• 通过在训练语料中加入额外的非结构化文本或预计算的向量空间，提升上下文表征质量，从而增强性能。
• 引入预评估分析功能，通过计算全称向量之间的余弦距离，预测消歧难度，而无需依赖标注测试数据。
• 该模型支持数千个具有多重含义的缩写，并允许通过向量空间调整（如平均化或移除）来解决语义重叠问题。

实验结果

研究问题

• RQ1 无监督方法是否能在不依赖人工标注数据的情况下实现高精度的缩写消歧？
• RQ2 如何利用外部非结构化文本改进上下文表征，以提升消歧准确率？
• RQ3 预评估分析功能是否能识别潜在歧义的缩写，而无需进行完整的实际评估？
• RQ4 全称含义之间的相似性在多大程度上影响消歧性能？该影响如何缓解？
• RQ5 UAD在具有高歧义性和多样化领域的大型真实世界数据集上扩展能力如何？

主要发现

• UAD在两个更大规模、更具歧义性且比以往基准更具代表性的大规模真实世界数据集上，优于基线方法和最先进方法。
• 该方法在数据规模至少比以往研究使用的数据集大一个数量级的数据集上实现了高性能，且无需人为平衡或数据过滤。
• 发现全称向量之间的余弦距离与误分类率之间存在显著负相关关系，证实语义相似的含义更难消歧。
• 预评估分析功能成功识别出问题缩写，尤其是语义相似或完全相同的含义，且无需依赖标注测试数据。
• 通过在训练语料中加入外部非结构化文本，显著提升了上下文表征质量和消歧性能。
• 通过向量空间调整（如平均化或移除问题全称向量）可获得与重新训练相当的性能提升，实现在无需重新训练的情况下对模型进行优化。