[论文解读] Natural Language Processing with Commonsense Knowledge: A Survey

Yubo Xie, Liu, Zonghui+5 more|arXiv (Cornell University)|Aug 10, 2021

Topic Modeling参考文献 164被引用 9

一句话总结

本综述回顾了增强自然语言处理的外部常识知识库与方法论，通过整合外部常识知识，尤其针对需要更深层次上下文理解的任务。它突出了预训练模型在对话系统、文本分类和知识库构建方面的最新进展，强调了直觉心理学与社会智能在提升模型推理与响应质量方面的作用。

ABSTRACT

Commonsense knowledge is essential for advancing natural language processing (NLP) by enabling models to engage in human-like reasoning, which requires a deeper understanding of context and often involves making inferences based on implicit external knowledge. This paper explores the integration of commonsense knowledge into various NLP tasks. We begin by reviewing prominent commonsense knowledge bases and then discuss the benchmarks used to evaluate the commonsense reasoning capabilities of NLP models, particularly language models. Furthermore, we highlight key methodologies for incorporating commonsense knowledge and their applications across different NLP tasks. The paper also examines the challenges and emerging trends in enhancing NLP systems with commonsense reasoning. All literature referenced in this survey can be accessed via our GitHub repository: https://github.com/yuboxie/awesome-commonsense.

研究动机与目标

• 提供现有常识知识库及其在增强自然语言处理任务中作用的全面概述。
• 考察利用外部常识知识以提升语义与语用自然语言处理任务性能的基准与方法论。
• 识别当前方法在建模对话系统中的社会智能与直觉心理学方面的不足。
• 探索未来研究方向，包括利用预训练语言模型自动构建知识库，以及改进常识知识在讽刺与幽默检测等任务中的整合。

提出的方法

• 调研主要的常识知识库，如 ConceptNet、OpenCyc、Atomic、ASER 和 CSKG，重点关注其结构、构建方法与覆盖范围。
• 分析将外部知识整合到神经模型中的方法论，包括在检索的知识图谱上使用注意力机制，以及序列到序列模型中的知识感知解码器。
• 评估使用知识检索与评分机制（如带断言评分的 Tri-LSTM）的模型，以选择用于响应生成的相关常识事实。
• 回顾通过对话历史与外部知识共同条件化响应生成的方法，例如在 ConceptNet 子图上使用图注意力网络的方法。
• 提出利用预训练语言模型自动提取实体与关系，以构建高质量、大规模的常识知识库。
• 研究将直觉心理学与社会互动模式整合到知识库中，以提升聊天机器人生成共情与多样化响应的能力。

实验结果

研究问题

• RQ1 外部常识知识在多大程度上可提升自然语言理解与生成任务的性能？
• RQ2 当前常识知识库在捕捉社会智能与直觉心理学方面存在哪些关键局限？
• RQ3 预训练语言模型在多大程度上可用于自动构建高质量、大规模的常识知识库？
• RQ4 如何有效将知识库整合到神经对话系统中，以生成更具上下文与情感恰当性的响应？
• RQ5 常识知识在讽刺或幽默检测等具有挑战性的文本分类任务中可发挥何种作用？

主要发现

• 像 ConceptNet、Atomic 和 ASER 这类常识知识库提供了直觉心理学与物理互动的结构化表示，使模型能够超越表面文本进行推理。
• 通过外部知识库检索知识并加以条件化生成对话的方法（例如通过图注意力或断言评分）优于记忆网络与词嵌入等基线模型。
• 预训练语言模型在自动构建知识库方面展现出潜力，但当前结果仅限于小规模评估，缺乏大规模、高精度的部署。
• 现有知识库通常缺乏对社会互动模式（如共情回应）的显式建模，这限制了聊天机器人生成具有社会智能回应的能力。
• 在文本分类任务中整合常识知识——尤其是针对讽刺或情感等细微推理任务——当使用聚焦心理学的知识库时，可提升模型性能。
• 针对特定领域或行为的常识知识库（如社会智能）的构建仍处于发展初期，是未来关键的研究机遇。