[论文解读] TransOMCS: From Linguistic Graphs to Commonsense Knowledge

Hongming Zhang, Daniel Khashabi+2 more|arXiv (Cornell University)|May 1, 2020

Topic Modeling参考文献 23被引用 4

一句话总结

本文提出 TransOMCS，一种通过模式匹配与排序从语言图中挖掘高质量常识知识的方法，生成的知识图谱规模比 OMCS 大两个数量级。该方法将 ASER 中的语言模式转化为 ConceptNet 格式的三元组，实现了下游 NLP 任务中更优的覆盖范围与新颖性，尽管噪声增加，仍保持了强劲的性能表现。

ABSTRACT

Commonsense knowledge acquisition is a key problem for artificial intelligence. Conventional methods of acquiring commonsense knowledge generally require laborious and costly human annotations, which are not feasible on a large scale. In this paper, we explore a practical way of mining commonsense knowledge from linguistic graphs, with the goal of transferring cheap knowledge obtained with linguistic patterns into expensive commonsense knowledge. The result is a conversion of ASER [Zhang et al., 2020], a large-scale selectional preference knowledge resource, into TransOMCS, of the same representation as ConceptNet [Liu and Singh, 2004] but two orders of magnitude larger. Experimental results demonstrate the transferability of linguistic knowledge to commonsense knowledge and the effectiveness of the proposed approach in terms of quantity, novelty, and quality. TransOMCS is publicly available at: https://github.com/HKUST-KnowComp/TransOMCS.

研究动机与目标

• 为解决传统常识知识获取方法因依赖昂贵的人工标注而面临的可扩展性瓶颈。
• 探索从依存关系与话语关系中提取的语言模式向高质量常识知识迁移的可行性。
• 构建一个大规模的常识知识图谱，格式与 ConceptNet/OMCS 一致，具备更高的覆盖范围与新颖性。
• 评估所挖掘知识在内在与外在 NLP 任务中的有效性。

提出的方法

• 该方法使用一个种子常识知识集（ConceptNet 5.5 的子集）和来自 ASER 的语言图，识别其中重叠的术语与关系。
• 对于每个种子三元组 (h, r, t)，选择包含 h 和 t 的支持性语言图，并从中提取其结构关系中的语言模式。
• 一个模式过滤模块基于与已知常识事实的重叠度以及语言一致性，筛选出高精度的模式。
• 一个判别式排序模型对提取的常识三元组质量进行评估与打分，以过滤低质量或不完整的断言。
• 最终构建的知识集合 TransOMCS 采用与 OMCS 和 ConceptNet 相同的格式，包含两百多万条边。
• 该框架利用依存句法分析与话语连接词，从原始文本中提取了 3790 万条事件与 1000 万个话语关系。

实验结果

研究问题

• RQ1 能否有效利用从依存关系与话语关系中提取的语言模式来推断常识知识？
• RQ2 语言知识的迁移在多大程度上能够提升常识知识资源的规模与新颖性？
• RQ3 TransOMCS 的质量与覆盖范围与现有资源（如 OMCS、COMET 和 LAMA）相比如何？
• RQ4 在下游 NLP 任务中，引入 TransOMCS 是否能显著提升性能？

主要发现

• TransOMCS 包含两百多万条边，较原始 OMCS（60 万条边）提升了两个数量级。
• 在对话生成任务中，TransOMCS 平均每个示例贡献 3.36 个支持性三元组，而 OMCS 仅为 1.46 个，表明其覆盖范围与新颖性显著更高。
• 在常识阅读理解任务中，使用 Top 1% 的知识时，TransOMCS 实现了 0.37 的准确率增益，优于 OMCS（0.21）及其他方法如 COMET 与 LAMA。
• 使用 TransOMCS 的对话生成模型获得了更高的 BLEU 分数，而添加 COMET 或 LAMA 则未带来有意义的性能提升，表明 TransOMCS 提供了更具价值的新颖知识。
• TransOMCS 能够生成多标记概念与新颖知识，例如 'human' 能够 'creating life'，而其他模型无法生成此类内容。
• 尽管噪声水平高于 OMCS，TransOMCS 由于其规模与覆盖范围，在下游任务中仍表现出强大实用性，验证了语言模式向常识知识迁移的可行性。