[论文解读] Who Should Go First? A Self-Supervised Concept Sorting Model for Improving Taxonomy Expansion

Xiangchen Song, Jiaming Shen+2 more|arXiv (Cornell University)|Apr 8, 2021

Topic Modeling参考文献 32被引用 5

一句话总结

本文提出 TaxoOrder，一种自监督框架，可联合学习新概念之间的上下位关系，并确定其在知识图谱扩展中的最优插入顺序，从而防止因任意插入序列导致的错误传播。通过结合学习到的关系与启发式模式生成伪边，并应用拓扑排序，TaxoOrder 在真实世界数据集上的多个指标上显著提升了扩展质量。

ABSTRACT

Taxonomies have been widely used in various machine learning and text mining systems to organize knowledge and facilitate downstream tasks. One critical challenge is that, as data and business scope grow in real applications, existing taxonomies need to be expanded to incorporate new concepts. Previous works on taxonomy expansion process the new concepts independently and simultaneously, ignoring the potential relationships among them and the appropriate order of inserting operations. However, in reality, the new concepts tend to be mutually correlated and form local hypernym-hyponym structures. In such a scenario, ignoring the dependencies of new concepts and the order of insertion may trigger error propagation. For example, existing taxonomy expansion systems may insert hyponyms to existing taxonomies before their hypernym, leading to sub-optimal expanded taxonomies. To complement existing taxonomy expansion systems, we propose TaxoOrder, a novel self-supervised framework that simultaneously discovers the local hypernym-hyponym structure among new concepts and decides the order of insertion. TaxoOrder can be directly plugged into any taxonomy expansion system and improve the quality of expanded taxonomies. Experiments on the real-world dataset validate the effectiveness of TaxoOrder to enhance taxonomy expansion systems, leading to better-resulting taxonomies with comparison to baselines under various evaluation metrics.

研究动机与目标

• 解决由于新概念插入顺序任意而导致的知识图谱扩展中的错误传播问题。
• 发现现有独立插入方法中被忽略的新概念之间的上下位关系。
• 开发一种自监督框架，无需标注数据即可确定新概念的高质量插入顺序。
• 与现有知识图谱扩展系统无缝集成，以提升扩展后知识图谱的质量。
• 通过基于语义关系自动排序概念插入，减轻人工专家的负担。

提出的方法

• TaxoOrder 首先使用自监督学习方法从现有知识图谱中学习上下位关系。
• 应用启发式模式（例如，表面名称匹配）在新概念之间生成伪边，编码潜在的上下位关系。
• 该框架从这些伪边构建有向无环图（DAG），以表示新概念之间的关系结构。
• 对 DAG 应用拓扑排序，以确定有效的插入顺序，确保上位词在下位词之前插入。
• 由此得到的插入顺序用于引导任何现有知识图谱扩展系统，确保下位词仅在潜在父节点已存在于知识图谱中时才被插入。
• 该方法端到端可训练，且设计为可即插即用，可无缝集成到现有扩展流水线中。

实验结果

研究问题

• RQ1 自监督模型能否在知识图谱扩展过程中有效发现新概念之间的上下位关系？
• RQ2 为新概念确定最优插入顺序是否能显著提升扩展后知识图谱的质量？
• RQ3 将基于模式的启发式方法与学习到的关系相结合，如何增强插入顺序的鲁棒性与覆盖范围？
• RQ4 与任意或随机插入顺序相比，TaxoOrder 在多大程度上减少了错误传播？
• RQ5 所提出的框架能否与现有知识图谱扩展系统有效结合，以提升性能？

主要发现

• 在两个真实世界数据集上，TaxoOrder 在 F1、精确率和召回率等多个评估指标上显著优于基线方法，包括随机插入和仅使用模式的插入顺序。
• 与真实插入顺序相比，模型性能接近最优，扩展知识图谱中的错误边数（ENC）显著减少。
• 消融实验证实，自监督关系学习与基于模式增强的伪边生成均对最终性能有显著贡献。
• 将 TaxoOrder 集成到现有扩展系统中，即使底层扩展模型不完美，也能生成更高质量的知识图谱。
• 该方法通过覆盖比仅使用模式的方法更多的关系，有效减少了 DAG 中的孤立概念数量。
• 结果表明，学习相对泛化度量而非记忆现有知识图谱结构，是实现泛化能力和鲁棒性的关键。