[论文解读] On Using Selectional Restriction in Language Models for Speech Recognition

J.P. Ueberla|ArXiv.org|Aug 19, 1994

Natural Language Processing Techniques参考文献 6被引用 3

一句话总结

本文研究了在语音识别的语言模型中整合选择性限制——动词与其宾语之间的语义约束——的效果。利用未标注语料、标注器和有限状态机提取动词-宾语对，研究结果表明，将聚类的二元语言模型与动词特定的选择性限制相结合，比单独使用任一模型更能有效降低困惑度，证明了语言建模性能的提升。

ABSTRACT

In this paper, we investigate the use of selectional restriction -- the constraints a predicate imposes on its arguments -- in a language model for speech recognition. We use an un-tagged corpus, followed by a public domain tagger and a very simple finite state machine to obtain verb-object pairs from unrestricted English text. We then measure the impact the knowledge of the verb has on the prediction of the direct object in terms of the perplexity of a cluster-based language model. The results show that even though a clustered bigram is more useful than a verb-object model, the combination of the two leads to an improvement over the clustered bigram model.

研究动机与目标

• 研究选择性限制——动词与其直接宾语之间的语义约束——对语音识别中语言模型性能的影响。
• 确定引入动词特定约束是否能超越标准n-gram模型，提升语言模型的准确性。
• 评估将聚类二元语言模型与动词-宾语对知识相结合，在降低困惑度方面的有效性。
• 探索仅使用标注器和有限状态机等基础NLP工具，从未标注文本中提取选择性限制的可行性。

提出的方法

• 使用公开的词性标注器处理未标注的英文语料，识别动词和名词词素。
• 通过一个简单的有限状态机从标注文本中提取动词-宾语对，形成原始的选择性限制数据库。
• 在相同语料上训练基于聚类的二元语言模型，作为基线模型。
• 将基于聚类的模型性能与结合了聚类模型和动词特定选择性限制的混合模型进行比较。
• 使用困惑度作为主要评估指标，衡量语言模型的预测准确性。
• 通过分析应用选择性限制后困惑度的降低情况，量化动词知识对宾语预测的影响。

实验结果

研究问题

• RQ1 能否从未标注文本中提取的选择性限制提升语音识别中语言模型的性能？
• RQ2 在基于聚类的模型中引入动词特定约束，如何影响其困惑度？
• RQ3 将聚类二元语言模型与动词-宾语对模型结合，是否优于单独使用任一模型？
• RQ4 动词知识在多大程度上降低了预测直接宾语的不确定性？

主要发现

• 聚类二元语言模型与动词-宾语模型的结合，其困惑度低于仅使用聚类二元语言模型的结果。
• 尽管聚类二元语言模型单独使用时优于动词-宾语模型，但混合模型相比基线模型表现出显著改进。
• 选择性限制的整合带来了可测量的困惑度降低，表明在给定动词的情况下，对直接宾语的预测能力得到提升。
• 结果表明，通过简单处理流程提取的选择性限制，能够显著增强语音识别任务中语言模型的性能。