[论文解读] Overview of the Triple Scoring Task at the WSDM Cup 2017

Hannah Bast, Björn Buchhold+1 more|arXiv (Cornell University)|Dec 21, 2017

Topic Modeling参考文献 4被引用 13

一句话总结

本论文介绍了 WSDM Cup 2017 三元组评分任务，要求根据主体与某一类型（如职业或国籍）的契合程度，为其知识库三元组分配 0 到 7 的整数相关性分数。优胜团队采用由四种方法组成的集成模型——包括维基百科句子分析和 Freebase 路径特征——并结合触发词后处理，实现了 87% 的准确率和 1.50 的平均分数差（ASD），显著优于基线模型。

ABSTRACT

This paper provides an overview of the triple scoring task at the WSDM Cup 2017, including a description of the task and the dataset, an overview of the participating teams and their results, and a brief account of the methods employed. In a nutshell, the task was to compute relevance scores for knowledge-base triples from relations, where such scores make sense. Due to the way the ground truth was constructed, scores were required to be integers from the range 0..7. For example, reasonable scores for the triples "Tim Burton profession Director" and "Tim Burton profession Actor" would be 7 and 2, respectively, because Tim Burton is well-known as a director, but he acted only in a few lesser known movies. The triple scoring task attracted considerable interest, with 52 initial registrations and 21 teams who submitted a valid run before the deadline. The winning team achieved an accuracy of 87%, that is, for that fraction of the triples from the test set (which was revealed only after the deadline) the difference to the score from the ground truth was at most 2. The best result for the average difference from the test set scores was 1.50.

研究动机与目标

• 开发一种方法，根据主体与给定类型（如职业或国籍）的契合程度，为知识库三元组分配 0 到 7 的相关性分数。
• 建立一种反映人类判断中‘意外性’或‘预期性’直觉的相关性建模方式——例如，得知费德勒是南非人会让人有多惊讶？
• 使用来自众包的 1,387 个三元组（每个三元组有 7 个二元判断）作为真实标签，创建一个用于无监督学习的实体相关性评分基准。
• 在保留的测试集（710 个三元组）上，使用三种指标评估系统：准确率（ACC）、平均分数差（ASD）和 Kendall’s tau（TAU）。
• 探索外部数据（如维基百科句子）和启发式后处理（如触发词）在无显式监督下提升评分估计效果的有效性。

提出的方法

• 集成学习器结合了四种独立方法：其中三种来自先前工作，利用维基百科句子，第四种使用 Freebase 路径特征来预测高相关性或低相关性。
• Freebase 路径特征被用作二分类器的输入，以判断三元组（如 Johnny Depp | nationality | USA）是否应获得高分或低分。
• 从 WordNet、同义词及人工整理中提取触发词——与特定类型语义相关的强相关术语（如‘德国人’、‘德国’用于国籍）。
• 后处理规则规定：若主体维基百科文章首句中出现任何触发词，则将分数提升至至少 5；否则，若全文首段未出现触发词，则将分数上限设为 2。
• 通过这些触发词规则对集成模型输出进行优化，以提升其与人类对相关性的直觉判断的一致性。
• 所有团队均使用提供的 3300 万条维基百科句子进行无监督学习，训练集（677 个三元组）未提供显式监督信号。

实验结果

研究问题

• RQ1 无监督模型在多大程度上能估计出接近人类判断的知识库三元组相关性分数（涉及职业和国籍）？
• RQ2 在缺乏标注监督的情况下，维基百科句子特征和 Freebase 路径特征在多大程度上提升了评分估计性能？
• RQ3 基于触发词的后处理在多大程度上能通过生物文本中的显著语言线索改进评分估计？
• RQ4 不同评估指标（ACC、ASD、TAU）之间有何相关性？哪一指标最能反映任务的真实性能？
• RQ5 当与学习模型结合时，简单启发式方法（如触发词规则）是否能显著提升性能？

主要发现

• 优胜团队在测试集上实现了 87% 的准确率（与真实标签相差 ±2 以内），平均分数差（ASD）为 1.50，显著优于基线模型。
• 简单基线（随机分配分数）在 ACC 上优于三分之一的参赛团队，表明许多团队未能利用‘2-5 技巧’（即通过将分数集中在 2 和 5 附近以最大化 ACC 的策略）。
• TAU（Kendall’s tau）与 ACC 和 ASD 的相关性较弱，表明排序任务与分数估计是两个不同的挑战。
• ASD 被证明是比 ACC 更稳健且更有意义的指标，因为它不受‘2-5 技巧’的影响，更能反映准确分数估计的难度。
• Bokchoy 团队的方法结合了四种模型的集成与触发词后处理，在三项指标（ACC、ASD、TAU）中均位列前三，证明了混合方法的有效性。
• 所有 21 个有效提交均使用了提供的维基百科句子，且大多数采用了原始 [3] 研究论文中的方法变体，证实了基于文本特征在此任务中的有效性。