[论文解读] On the Role of Conceptualization in Commonsense Knowledge Graph Construction

Mutian He, Yangqiu Song+2 more|arXiv (Cornell University)|Mar 6, 2020

Advanced Graph Neural Networks参考文献 38被引用 7

一句话总结

本文提出概念化作为一种方法，通过将实体视为更广泛概念的实例，以增强常识知识图谱（CKG）构建，从而生成新颖、多样且高质量的三元组。通过在预训练语言模型上微调判别器并结合负采样，该方法在多样性与新颖性方面优于生成式方法，有效扩展了语义丰富且未见过的节点与关系。

ABSTRACT

Commonsense knowledge graphs (CKGs) like Atomic and ASER are substantially different from conventional KGs as they consist of much larger number of nodes formed by loosely-structured text, which, though, enables them to handle highly diverse queries in natural language related to commonsense, leads to unique challenges for automatic KG construction methods. Besides identifying relations absent from the KG between nodes, such methods are also expected to explore absent nodes represented by text, in which different real-world things, or entities, may appear. To deal with the innumerable entities involved with commonsense in the real world, we introduce to CKG construction methods conceptualization, i.e., to view entities mentioned in text as instances of specific concepts or vice versa. We build synthetic triples by conceptualization, and further formulate the task as triple classification, handled by a discriminatory model with knowledge transferred from pretrained language models and fine-tuned by negative sampling. Experiments demonstrate that our methods can effectively identify plausible triples and expand the KG by triples of both new nodes and edges of high diversity and novelty.

研究动机与目标

• 解决现有生成式方法在常识知识图谱（CKG）构建中多样性与新颖性不足的挑战。
• 克服当前方法在覆盖常识知识中无穷多现实世界实体与关系方面的局限。
• 探索将实体视为更广泛概念实例的概念化方法，如何提升CKG扩展的可扩展性与语义丰富性。
• 开发一种方法，通过利用概念抽象与预训练语言模型中的语义知识，生成合理且新颖的三元组。
• 评估概念化在生成超出现有CKG（如ASER和Atomic）的多样化与新颖节点及关系方面的有效性。

提出的方法

• 通过将文本中提及的真实世界实体映射到其对应的概念，引入概念化，实现三元组的抽象与实例化。
• 将任务形式化为三元组分类，使用判别模型评估生成三元组的合理性。
• 模型以预训练语言模型（如BERT、GPT-2）的知识初始化，并通过负采样进行微调，以提升对有效与无效三元组的区分能力。
• 通过概念抽象生成合成三元组：将特定实体替换为其概念对应物，再以新实体重新实例化。
• 该方法利用预训练模型的语义相似性与上下文理解能力，确保生成的三元组在语义上一致且多样化。
• 通过归一化指标（如Dist-N-Norm、N/T N-Norm）进行评估，以在去除结构化词汇变化后衡量多样性与新颖性。

实验结果

研究问题

• RQ1 概念化能否提升常识知识图谱构建中生成三元组的多样性与新颖性？
• RQ2 与纯生成式方法相比，基于概念化的三元组生成在语义丰富性与未见实体覆盖方面表现如何？
• RQ3 在不依赖生成启发式方法的前提下，微调于预训练语言模型的判别模型在识别合理三元组方面有多强的识别能力？
• RQ4 概念化在减少生成节点中的冗余性方面效果如何，特别是当实体被同义表达或语义相似时？
• RQ5 概念化能否实现对现有CKG（如ASER或Atomic）中不存在的新颖、高质量边与节点的发现？

主要发现

• 与领先的生成模型COMeT相比，所提方法在生成三元组的多样性与新颖性方面显著更优，表现为Dist-1、Dist-2与Dist-N指标更高。
• 在去除结构化词汇变化后进行归一化处理，该方法仍保持高多样性与新颖性，而COMeT的性能显著下降，表明其同义表达多样性降低。
• 在概念化方法中，新颖节点比例（N/T N-Norm）与新颖不同节点比例（N/U N-Norm）显著高于COMeT。
• 基于判别器的方法即使在从抽象概念形式生成三元组时，也能有效识别合理三元组，在定性与定量评估中均优于生成基线。
• 实验表明，概念化能够实现CKG在语义多样且新颖的节点与关系上的扩展，尤其覆盖了现有CKG（如ASER）中未包含的实体。
• 该方法在处理Probase中的低覆盖度实体时表现出鲁棒性，相比现有CKG，实现了更高的实体覆盖率与每节点更独特的实体表示。