[论文解读] Natural language processing for word sense disambiguation and information extraction

K. R. Chowdhary|arXiv (Cornell University)|Apr 5, 2020

Topic Modeling参考文献 33被引用 6

一句话总结

本博士论文提出了一种新颖的词义消歧（WSD）与信息抽取（IE）框架，采用基于同义词词典的方法、模糊逻辑进行文档检索，并使用结构化查询语言（SDL）支持问答系统。此外，该研究提出了一种基于Dempster-Shafer理论的策略，以克服贝叶斯方法的局限性，从而实现从非结构化文本中更灵活、更稳健的信息抽取。

ABSTRACT

This research work deals with Natural Language Processing (NLP) and extraction of essential information in an explicit form. The most common among the information management strategies is Document Retrieval (DR) and Information Filtering. DR systems may work as combine harvesters, which bring back useful material from the vast fields of raw material. With large amount of potentially useful information in hand, an Information Extraction (IE) system can then transform the raw material by refining and reducing it to a germ of original text. A Document Retrieval system collects the relevant documents carrying the required information, from the repository of texts. An IE system then transforms them into information that is more readily digested and analyzed. It isolates relevant text fragments, extracts relevant information from the fragments, and then arranges together the targeted information in a coherent framework. The thesis presents a new approach for Word Sense Disambiguation using thesaurus. The illustrative examples supports the effectiveness of this approach for speedy and effective disambiguation. A Document Retrieval method, based on Fuzzy Logic has been described and its application is illustrated. A question-answering system describes the operation of information extraction from the retrieved text documents. The process of information extraction for answering a query is considerably simplified by using a Structured Description Language (SDL) which is based on cardinals of queries in the form of who, what, when, where and why. The thesis concludes with the presentation of a novel strategy based on Dempster-Shafer theory of evidential reasoning, for document retrieval and information extraction. This strategy permits relaxation of many limitations, which are inherent in Bayesian probabilistic approach.

研究动机与目标

• 解决从非结构化文本文档中提取结构化、可操作信息的挑战。
• 通过基于同义词词典的方法，提升词义消歧的准确率与处理速度。
• 通过应用模糊逻辑处理查询-文档匹配中的不确定性，提升文档检索性能。
• 通过基于查询核心要素（谁、什么、何时、何地、为何）的结构化描述语言（SDL），优化问答系统中的信息抽取流程。
• 利用Dempster-Shafer证据推理理论，开发一种比贝叶斯概率模型更具灵活性的替代方案，用于文档检索与信息抽取。

提出的方法

• 基于同义词词典的词义消歧方法，利用词语与其同义词之间的语义相似性。
• 在文档检索中应用模糊逻辑，以建模相关性评分中的不确定性，提升检索鲁棒性。
• 设计一种结构化描述语言（SDL），将自然语言查询映射为结构化数据格式，以实现高效的信息抽取。
• 将SDL与问答系统流水线集成，从检索到的文档中抽取并组织答案。
• 应用Dempster-Shafer理论整合多源证据，放宽贝叶斯模型中严格的概率独立性假设。
• 构建一种混合架构，将文档检索、WSD与IE模块整合为统一系统，实现端到端的信息抽取。

实验结果

研究问题

• RQ1 基于同义词词典的方法在多大程度上能提升自然语言处理系统中词义消歧的速度与准确率？
• RQ2 在存在模糊或不精确查询的情况下，模糊逻辑能在多大程度上提升文档检索性能？
• RQ3 结构化描述语言（SDL）是否能有效将自然语言查询映射为结构化信息，以支持自动化抽取？
• RQ4 Dempster-Shafer理论在结合不确定证据用于文档检索与信息抽取时，为何能优于贝叶斯方法？
• RQ5 概率模型在信息抽取中存在哪些局限性？证据推理如何提供更具灵活性的替代方案？

主要发现

• 基于同义词词典的WSD方法在示例中表现出有效的消歧能力，但未报告定量准确率指标。
• 基于模糊逻辑的文档检索提升了对查询-文档匹配中不确定性和模糊性的处理能力，增强了检索鲁棒性。
• 基于SDL的系统通过围绕核心问题要素（谁、什么、何时、何地、为何）组织答案，简化了信息抽取流程。
• Dempster-Shafer理论方法放宽了贝叶斯模型中固有的独立性假设，实现了更灵活的证据组合。
• 将WSD、文档检索与IE整合为统一流水线，证明了从非结构化文本中实现端到端信息抽取的可行性。
• 所提出的框架在将原始文本转化为结构化、可分析数据方面展现出潜力，有助于缓解信息过载问题。