[论文解读] Natural Language Processing for Information Extraction

Sonit Singh|arXiv (Cornell University)|Jul 6, 2018

Topic Modeling参考文献 55被引用 48

一句话总结

本文综述了信息抽取（IE）在NLP中的应用，详细介绍了命名实体识别（NER）、命名实体链接（NEL）、关系抽取（CR）、时序/事件抽取，以及关系抽取（RE），以及最先进的方法、工具和知识库推理方法。

ABSTRACT

With rise of digital age, there is an explosion of information in the form of news, articles, social media, and so on. Much of this data lies in unstructured form and manually managing and effectively making use of it is tedious, boring and labor intensive. This explosion of information and need for more sophisticated and efficient information handling tools gives rise to Information Extraction(IE) and Information Retrieval(IR) technology. Information Extraction systems takes natural language text as input and produces structured information specified by certain criteria, that is relevant to a particular application. Various sub-tasks of IE such as Named Entity Recognition, Coreference Resolution, Named Entity Linking, Relation Extraction, Knowledge Base reasoning forms the building blocks of various high end Natural Language Processing (NLP) tasks such as Machine Translation, Question-Answering System, Natural Language Understanding, Text Summarization and Digital Assistants like Siri, Cortana and Google Now. This paper introduces Information Extraction technology, its various sub-tasks, highlights state-of-the-art research in various IE subtasks, current challenges and future research directions.

研究动机与目标

• 介绍信息抽取及其在处理非结构化文本中的作用。
• 回顾IE的子任务（NER、NEL、CR、时序/事件抽取、RE、知识库推理）及它们之间的依赖关系。
• 讨论IE各子任务的前沿方法，包括基于模式、基于词表/地名表、基于机器学习以及深度学习方法。
• 突出IE工具、共享任务，以及作为推动技术的知识库构建与推理。

提出的方法

• 描述信息抽取流程及基本的预处理步骤（分词、词干提取、词性标注、句法分析）。
• 将IE方法分为基于模式匹配、基于词表/地名表以及基于机器学习的方法，包含条件随机场、支持向量机、最大熵以及远程监督。
• 介绍IE子任务（NER、NEL、CR、时序/事件抽取、RE）的前沿方法，并讨论联合建模的趋势。
• 列举公开、商业化和专业化的IE工具及其在实际IE部署中的作用。
• 解释知识库的构建、推理和链接预测，作为IE在Freebase、DBpedia、YAGO和Google知识图谱等知识库中的应用。

实验结果

研究问题

• RQ1 主要的IE子任务有哪些，它们在NLP管道中的相互关系是怎样的？
• RQ2 每个IE子任务（NER、NEL、CR、时序、RE）目前的前沿方法及其性能趋势如何？
• RQ3 远程监督和多实例学习如何缓解关系抽取中的标注数据挑战？
• RQ4 如何将IE输出与知识库及推理整合并提升下游任务（如问答与检索）？
• RQ5 哪些工具和共享任务推动了跨领域、跨语言的IE进展？

主要发现

• IE包含若干个相互关联的子任务，包括NER、NEL、CR、时序信息抽取、RE和KB推理。
• ML和深度学习方法已在许多IE子任务中占据主导地位，常常超越传统的规则或模式系统。
• 远程监督和多实例学习解决了RE中的标注数据稀缺问题，但会引入噪声需要小心建模（如MIML-RE）。
• 存在一个广泛的IE工具生态系统（公开、商业化和专用），使实际部署和评估成为可能。
• 跨子任务的联合建模（如CR-NER-NEL）以及跨领域/开放多语言的方法显示出提升IE性能的潜力。