[论文解读] Ranking vs. Classifying: Measuring Knowledge Base Completion Quality

Marina Speranskaya, Martin Schmitt+1 more|arXiv (Cornell University)|Feb 2, 2021

Topic Modeling被引用 4

一句话总结

本文提出了一种基于分类的知识库补全（KBC）评估范式，以解决传统基于排序的度量方法的局限性。通过构建FB14k-QAQ数据集，其中因实体删除或类型约束导致查询缺失真实答案，作者表明：在排序任务中表现优异的模型，并不意味着在真实世界事实预测中具有良好的泛化能力。经过改进的TransE模型（引入关系特定区域）相比标准TransE，F1得分提升超过30%，凸显了KBC模型中更好预测可分性的必要性。

ABSTRACT

Knowledge base completion (KBC) methods aim at inferring missing facts from the information present in a knowledge base (KB) by estimating the likelihood of candidate facts. In the prevailing evaluation paradigm, models do not actually decide whether a new fact should be accepted or not but are solely judged on the position of true facts in a likelihood ranking with other candidates. We argue that consideration of binary predictions is essential to reflect the actual KBC quality, and propose a novel evaluation paradigm, designed to provide more transparent model selection criteria for a realistic scenario. We construct the data set FB14k-QAQ where instead of single facts, we use KB queries, i.e., facts where one entity is replaced with a variable, and construct corresponding sets of entities that are correct answers. We randomly remove some of these correct answers from the data set, simulating the realistic scenario of real-world entities missing from a KB. This way, we can explicitly measure a model's ability to handle queries that have more correct answers in the real world than in the KB, including the special case of queries without any valid answer. The latter especially contrasts the ranking setting. We evaluate a number of state-of-the-art KB embeddings models on our new benchmark. The differences in relative performance between ranking-based and classification-based evaluation that we observe in our experiments confirm our hypothesis that good performance on the ranking task does not necessarily translate to good performance on the actual completion task. Our results motivate future work on KB embedding models with better prediction separability and, as a first step in that direction, we propose a simple variant of TransE that encourages thresholding and achieves a significant improvement in classification F1 score relative to the original TransE.

研究动机与目标

• 为解决基于排序的KBC评估与真实世界事实预测之间的脱节问题，即模型必须决定是否接受或拒绝新事实。
• 识别当前评估范式中的不足，这些范式优先考虑排序性能而非二分类准确率。
• 开发一个真实基准，包含因缺失实体或类型违规而无有效答案的查询。
• 推动研究具备更好预测可分性和内在阈值判断能力的KBC模型。
• 在反映实际部署条件的新分类聚焦度量下，评估最先进模型的表现。

提出的方法

• 通过将知识库查询中的实体替换为变量，并移除一部分正确答案，构建FB14k-QAQ数据集，以模拟真实世界中的缺失数据。
• 生成两类负样本查询：(1) 因删除实体而无有效答案的查询；(2) 违反类型约束的查询。
• 在生成的测试集上使用二分类度量指标（特别是F1得分）评估模型在区分真实与虚假事实方面的能力。
• 提出一种改进的TransE模型，称为Region，该模型使用关系特定的对角矩阵在嵌入空间中定义椭圆区域，以实现更好的预测可分性。
• 基于Region模型的距离函数引入阈值机制，将得分转换为二元预测结果。
• 使用全局阈值和多个关系特定阈值评估模型，以检验其在不同关系上的鲁棒性与泛化能力。

实验结果

研究问题

• RQ1 在MRR等基于排序的度量上表现优异，是否能可靠地指示模型在真实世界知识库补全任务中的性能？在该任务中，模型必须做出二元接受/拒绝决策。
• RQ2 当在包含无有效答案查询的分类基准上评估时，最先进KBC模型的表现如何？
• RQ3 对TransE进行简单修改，以增强预测可分性，是否能显著提升分类性能？
• RQ4 当前得分函数在多关系间支持一致阈值设置方面存在多大程度的失败？这如何影响模型的可靠性？
• RQ5 全局阈值与多阈值设置之间的性能差距，如何反映KBC模型的可扩展性与鲁棒性？

主要发现

• 改进的Region模型（关系特定区域的TransE变体）在使用全局阈值时，F1得分相比标准TransE提升32.4%；在使用多阈值时，提升达36.8%。
• 基于排序与基于分类的度量之间存在显著性能差距：MRR值高的模型往往表现出较差的F1得分，表明排序成功并不等同于可靠的事实预测能力。
• 性能提升最大的部分出现在无有效答案的查询上（例如缺失实体），表明新基准能有效暴露模型在泛化能力方面的弱点。
• 在排序范式下训练的模型通常无法生成校准良好的得分，导致在不同关系间进行全局阈值设定困难且不可靠。
• 结果证实，通过架构改进（如Region模型）提升预测可分性，对构建可部署、鲁棒的KBC系统至关重要。
• 新评估框架揭示，当前模型并未针对实际的事实补全任务进行优化，而该任务要求可靠的二元决策，而非简单的排序。