[论文解读] Structural Quality Metrics to Evaluate Knowledge Graphs

Sumin Seo, Heeseon Cheon+2 more|arXiv (Cornell University)|Nov 18, 2022

Semantic Web and Ontologies被引用 4

一句话总结

本文提出六项结构质量度量指标，通过评估本体结构与使用情况来衡量知识图谱的质量，重点关注类与属性的实例化、层次结构及继承关系。在Wikidata、DBpedia、YAGO、Freebase、Google KG以及Naver的Raftel上的应用表明，大规模知识图谱通常未能充分使用其本体，而结构良好的图谱如Raftel则通过精细且积极使用的类与属性定义实现了更高的质量。

ABSTRACT

This work presents six structural quality metrics that can measure the quality of knowledge graphs and analyzes five cross-domain knowledge graphs on the web (Wikidata, DBpedia, YAGO, Google Knowledge Graph, Freebase) as well as 'Raftel', Naver's integrated knowledge graph. The 'Good Knowledge Graph' should define detailed classes and properties in its ontology so that knowledge in the real world can be expressed abundantly. Also, instances and RDF triples should use the classes and properties actively. Therefore, we tried to examine the internal quality of knowledge graphs numerically by focusing on the structure of the ontology, which is the schema of knowledge graphs, and the degree of use thereof. As a result of the analysis, it was possible to find the characteristics of a knowledge graph that could not be known only by scale-related indicators such as the number of classes and properties.

研究动机与目标

• 解决知识图谱在规模与分布度量之外缺乏结构质量评估的问题。
• 识别决定知识图谱质量的结构因素，特别是本体设计与使用情况。
• 开发反映知识图谱在多大程度上有效利用其本体来表达现实世界知识的量化度量指标。
• 通过这些度量指标对跨领域的知识图谱进行比较，以揭示其结构上的优势与劣势。
• 证明结构质量是知识图谱质量的一个关键且可度量的维度，独立于数据规模。

提出的方法

• 提出六项结构质量度量指标：实例化类比率、实例化属性比率、类实例化、子类属性获取、子类属性实例化、以及逆向多重继承。
• 将每项度量标准化至1–10的量表，以实现跨图谱比较。
• 将类度量（CM）与属性度量（PM）结合，通过加权平均生成综合结构质量得分，权重可调以反映不同的评估优先级。
• 将这些度量应用于五个公开知识图谱（Wikidata、DBpedia、YAGO、Freebase、Google KG）和一个专有图谱（Raftel）。
• 使用RDF三元组数据与本体定义计算实例化与继承统计信息。
• 采用标准化与加权聚合方法，生成一个全面且可解释的质量得分，反映结构成熟度。

实验结果

研究问题

• RQ1 知识图谱的哪些结构特征在规模之外促成了更高的质量？
• RQ2 知识图谱在类与属性实例化方面，对其本体的利用程度如何？
• RQ3 本体层次结构（如子类化）在多大程度上影响知识图谱的表达能力与质量？
• RQ4 在基于本体使用与设计的评估下，不同知识图谱在结构质量上的表现如何比较？
• RQ5 结构质量度量是否能揭示规模度量所遗漏的大规模知识图谱中的隐藏质量问题？

主要发现

• 当优先考虑属性使用（PM）时，DBpedia获得了最高的结构质量得分，表明其尽管类层次结构中等，但属性实例化表现强劲。
• Raftel在类度量（CM）方面得分最高，表明其在类级别上具有更优的结构化与实例化能力，该图基于Wikidata的本体构建。
• Wikidata尽管拥有丰富的本体，包含大量类与属性，但实例化率相对较低，表明其结构潜力未被充分挖掘。
• Freebase虽然属性数量众多，但由于缺乏类层次结构，导致子类属性获取与子类属性实例化得分偏低，限制了其结构质量。
• Google Knowledge Graph在多数度量上得分较低，原因在于其本体公开访问受限，且通过API暴露的属性极少。
• YAGO因类与属性数量较少，子类关系薄弱且实例化率低，导致结构质量较低，反映出其表达能力有限。