[论文解读] Similarity-Based Models of Word Cooccurrence Probabilities

Ido Dagan, Lillian Lee+1 more|ArXiv.org|Sep 27, 1998

Topic Modeling参考文献 33被引用 70

一句话总结

本文提出基于相似性的模型，用于估计自然语言处理中未见词共现的概率，利用分布相似性从已知频率中进行泛化。该方法改进了回退语言模型，在伪词消歧任务上性能提升最高达40%，对未见二元组的困惑度降低20%，并实现了统计显著的语音识别错误率降低。

ABSTRACT

In many applications of natural language processing (NLP) it is necessary to determine the likelihood of a given word combination. For example, a speech recognizer may need to determine which of the two word combinations ``eat a peach'' and ``eat a beach'' is more likely. Statistical NLP methods determine the likelihood of a word combination from its frequency in a training corpus. However, the nature of language is such that many word combinations are infrequent and do not occur in any given corpus. In this work we propose a method for estimating the probability of such previously unseen word combinations using available information on ``most similar'' words. We describe probabilistic word association models based on distributional word similarity, and apply them to two tasks, language modeling and pseudo-word disambiguation. In the language modeling task, a similarity-based model is used to improve probability estimates for unseen bigrams in a back-off language model. The similarity-based method yields a 20% perplexity improvement in the prediction of unseen bigrams and statistically significant reductions in speech-recognition error. We also compare four similarity-based estimation methods against back-off and maximum-likelihood estimation methods on a pseudo-word sense disambiguation task in which we controlled for both unigram and bigram frequency to avoid giving too much weight to easy-to-disambiguate high-frequency configurations. The similarity-based methods perform up to 40% better on this particular task.

研究动机与目标

• 通过估计未见词共现的概率，解决统计自然语言处理中的数据稀疏性问题。
• 开发一种基于词相似性的方法，从已知共现频率中进行泛化。
• 在语言建模与伪词义消歧任务上评估基于相似性的模型。
• 在受控环境下，将基于相似性的估计方法与回退法和最大似然法进行比较。
• 探究不同相似性度量在提升罕见或未见词对概率估计方面的有效性。

提出的方法

• 使用分布词相似性来估计未见词共现的概率，替代直接的频率计数。
• 在回退语言模型框架中应用基于相似性的概率估计，以改进未见二元组的预测。
• 在词共现分布上应用四种相似性度量——余弦相似度、Dice系数、Jaccard系数以及Jensen-Shannon散度。
• 基于与其他词的共现模式建模词相似性，将每个词视为其自身“相似词类”的代表。
• 采用软最近邻方法，将每个词与其最相似的词集合关联，并按相似度加权。
• 将基于相似性的估计结果整合到概率模型中，避免依赖独立性假设。

实验结果

研究问题

• RQ1 能否利用词相似性改进语言模型中未见词共现的概率估计？
• RQ2 不同相似性度量（如余弦相似度、JSD）在估计未见二元组概率方面表现如何比较？
• RQ3 与回退模型相比，基于相似性的模型在降低困惑度和语音识别错误率方面达到何种程度的改善？
• RQ4 在受控消歧任务中，基于相似性的方法相对于最大似然估计和回退估计表现如何？
• RQ5 基于相似性的估计能否有效泛化到二元组之外的低频或未见配置？

主要发现

• 基于相似性的模型在回退语言模型中使未见二元组的困惑度降低了20%，并在语音识别错误率上实现了统计显著的改进。
• 在伪词义消歧任务中，基于相似性的方法在未见词对上的表现比回退法和最大似然估计高出最多40%。
• 基于Jensen-Shannon散度的相似性度量在各项任务和参数设置下均表现最佳。
• 尽管标准测试集中未见事件的比例相对较小，该方法仍实现了显著改进，表明其对罕见配置具有强大的泛化能力。
• 基于相似性的模型在长上下文语言建模中展现出潜力，但计算成本随上下文长度增加而上升，因相似性搜索空间扩大。
• 启发式基于相似性的方法表现出强劲的实证性能，尽管其理论基础不如基于类的模型坚实。