[论文解读] Steps to Knowledge Graphs Quality Assessment

Elwin Huaman|arXiv (Cornell University)|Aug 16, 2022

Data Quality and Management被引用 5

一句话总结

本文提出了一种可定制的、以用户为中心的知识图谱（KG）质量评估框架，通过定义20个领域特定的质量维度（QDs）及其相关质量度量（QMs），采用alpha-和beta-权重的加权评分方法，计算聚合的QD和KG评分，实现面向实际任务的评估，支持KG质量的比较、调优与可视化，适用于多种应用场景。

ABSTRACT

Knowledge Graphs (KGs) have been popularized during the last decade, for instance, they are used widely in the context of the web. In 2012 Google has presented the Google's Knowledge Graph that is used to improve their web search services. The web also hosts different KGs, such as DBpedia and Wikidata, which are used in various applications like personal assistants and question-answering systems. Various web applications rely on KGs to provide concise, complete, accurate, and fresh answer to users. However, what is the quality of those KGs? In which cases should a Knowledge Graph (KG) be used? How might they be evaluated? We reviewed the literature on quality assessment of data, information, linked data, and KGs. We extended the current state-of-the-art frameworks by adding various quality dimensions (QDs) and quality metrics (QMs) that are specific to KGs. Furthermore, we propose a general-purpose, customizable to a domain or task, and practical quality assessment framework for assessing the quality of KGs.

研究动机与目标

• 解决现有知识图谱（KGs）质量评估框架缺乏全面性与适应性，无法有效支持适用性评估的问题。
• 识别并形式化20个与知识图谱密切相关的质量维度（QDs），扩展现有数据与链接数据质量模型。
• 开发一种实用且可定制的框架，支持根据用户需求与使用场景动态调整QDs和QMs的权重。
• 通过可调节、可可视化且可解释的质量评估，提供可操作的洞察，支持知识图谱的选择与优化。

提出的方法

• 该框架分为四个步骤：识别用户、使用场景与目标KG；使用beta-权重（0至1）选择并加权QDs与QMs，其总和为1。
• 每个QD通过其组成QMs的加权和进行评分，使用alpha-权重（0至1），反映度量的重要性，且每个QD的alpha-权重总和为1。
• KG的QD评分为 $ d_i(g) = \sum_{j=1}^{k_i} m_{i,j} \cdot \alpha_{i,j} $，其中 $ m_{i,j} $ 为归一化的度 measure 分数。
• 整体KG质量评分为 $ T(g) = \sum_{i=1}^{n} d_i(g) \cdot \beta_i $，将所有QD评分与其对应权重结合。
• 该框架支持动态调节alpha-与beta-权重，以反映优先级的变化，实现实时比较与不同使用场景下KG的排序。
• 提出一种用户界面（UI），用于可视化结果、提供推荐，并支持对质量评分的交互式探索。

实验结果

研究问题

• RQ1 如何系统性地识别并形式化知识图谱的质量维度（QDs），以反映其独特特征？
• RQ2 如何最有效地将多个质量度量（QMs）量化并聚合为知识图谱（KGs）的连贯质量维度（QDs）？
• RQ3 如何使质量评估框架具备可定制性与适应性，以满足不同使用场景与领域的需求？
• RQ4 加权重要性评分（alpha与beta权重）在实现以用户为中心、面向任务的知识图谱质量评估中发挥何种作用？

主要发现

• 本文识别并形式化了20个与知识图谱相关的特定质量维度（QDs），包括以往被忽视的方面，如成本效益、可追溯性与多样性。
• 该框架通过支持QDs（beta-权重）与QMs（alpha-权重）的可配置加权，实现动态、以用户为中心的质量评估，支持按使用场景定制评估。
• KG的聚合质量评分是QD评分的加权和，最终总分 $ T(g) $ 反映其整体适用性。
• 该框架通过可调节的权重、结果比较与可视化支持实际应用，实现知识图谱的明智选择与持续改进。
• 该方法设计为半自动化，结合机器可执行的度量与人工参与的决策，以在准确性与成本之间取得平衡。