[论文解读] Noun-Phrase Analysis in Unrestricted Text for Information Retrieval

David A. Evans, ChengXiang Zhai|ArXiv.org|May 13, 1996

Natural Language Processing Techniques参考文献 8被引用 95

一句话总结

本文提出了一种混合名词短语分析技术，通过结合语料库统计与语言学启发式方法，从复杂名词短语中提取有意义的子复合词，显著提升了信息检索系统的精确率与召回率，实现了优于仅使用完整名词短语的更好短语归一化与更精确的索引。

ABSTRACT

Information retrieval is an important application area of natural-language processing where one encounters the genuine challenge of processing large quantities of unrestricted natural-language text. This paper reports on the application of a few simple, yet robust and efficient noun-phrase analysis techniques to create better indexing phrases for information retrieval. In particular, we describe a hybrid approach to the extraction of meaningful (continuous or discontinuous) subcompounds from complex noun phrases using both corpus statistics and linguistic heuristics. Results of experiments show that indexing based on such extracted subcompounds improves both recall and precision in an information retrieval system. The noun-phrase analysis techniques are also potentially useful for book indexing and automatic thesaurus extraction.

研究动机与目标

• 通过识别复杂名词短语中的语义上有意义的子复合词，解决信息检索中的短语归一化问题。
• 通过超越单一词汇或完整名词短语，采用中间短语结构，提升索引准确性。
• 开发一种稳健、高效且可扩展的方法，适用于大规模、无限制的文本集合。
• 评估子复合词提取对标准信息检索指标（如精确率与召回率）的影响。
• 探索该方法在图书索引与自动同义词词典生成等核心信息检索之外的应用。

提出的方法

• 采用混合方法，结合语料库统计（如共现频率）与语言学启发式方法（如句法模式），识别复杂名词短语中的子复合词。
• 使用局部性评分与关联规则检测语义连贯且统计显著的有意义子短语。
• 使用浅层解析策略处理无限制文本，聚焦名词短语结构，为提高效率而避免深度句法分析。
• 将不连续与连续子复合词（如从“college junior year”中提取“college junior”）作为索引术语。
• 将子复合词提取系统（PES）集成至CLARIT信息检索系统以进行评估。
• 在TREC认可的黄金标准相关性判断上，采用标准信息检索评估指标——精确率、召回率与插值精确率。

实验结果

研究问题

• RQ1 从复杂名词短语中提取子复合词能否提升信息检索中的精确率与召回率？
• RQ2 使用子短语作为索引术语是否优于仅使用完整名词短语或单个词汇在基于短语的信息检索中？
• RQ3 语料库统计与语言学启发式方法在多大程度上协同提升了子复合词检测的鲁棒性与准确性？
• RQ4 该方法能否有效解决信息检索中的短语归一化问题，即在句法不同但语义相似的短语之间实现匹配？
• RQ5 该方法是否足够高效与可扩展，适用于大规模、无限制的文本集合？

主要发现

• 所有文档层级的插值精确率均显著提升，0.90召回率水平下相对提升了21.7%。
• 召回率从80.8%提升至81.6%（提升0.8个百分点），表明更有效地检索到相关文档。
• 初始精确率（检索前5篇文档）提升了13%，表明早期检索效果更强。
• 即使基线CLARIT系统未完全优化，该方法仍对精确率产生积极影响，表明其与其它信息检索增强技术集成具有强大潜力。
• 处理20-MB文本子集约需3.5小时，尽管慢于基线名词短语识别，但表明其在小规模应用中具有可行性。
• 结果表明，子结构分析有助于更有效的信息管理，包括文本摘要与概念聚类。