[论文解读] Probabilistic Models of Relational Implication

Xavier Holt|arXiv (Cornell University)|Jul 28, 2019

Complex Network Analysis Techniques参考文献 20被引用 14

一句话总结

该论文提出了一种基于经验分布估计器和链接预测模型的正式概率框架，用于关系蕴含，将重新标注数据集（17,848个实例）上的最先进性能从0.7812提升至0.8143 AUC，经专家重新标注并采用新型众包标注方案后，精确度从53%提升至95%。

ABSTRACT

Relational data in its most basic form is a static collection of known facts. However, by learning to infer and deduct additional information and structure, we can massively increase the usefulness of the underlying data. One common form of inferential reasoning in knowledge bases is implication discovery. Here, by learning when one relation implies another, we can extend our knowledge representation. There are several existing models for relational implication, however we argue they are motivated but not principled. To this end, we define a formal probabilistic model of relational implication. By using estimators based on the empirical distribution of our dataset, we demonstrate that our model outperforms existing approaches. While previous work achieves a best score of 0.7812 AUC on an evaluatory dataset, our ProbE model improves this to 0.7915. Furthermore, we demonstrate that our model can be improved substantially through the use of link prediction models and dense latent representations of the underlying argument and relations. This variant, denoted ProbL, improves the state of the art on our evaluation dataset to 0.8143. In addition to developing a new framework and providing novel scores of relational implication, we provide two pragmatic resources to assist future research. First, we motivate and develop an improved crowd framework for constructing labelled datasets of relational implication. Using this, we reannotate and make public a dataset comprised of 17,848 instances of labelled relational implication. We demonstrate that precision (as evaluated by expert consensus with the crowd labels) on the resulting dataset improves from 53% to 95%.

研究动机与目标

• 解决现有关系蕴含模型中缺乏严谨的概率基础的问题。
• 提升关系蕴含标注数据集的质量与可靠性，当前这些数据集普遍存在精确度低的问题。
• 开发一种可扩展、经过优化的框架，用于训练和调优链接预测模型，以增强蕴含评分能力。
• 证明将链接预测与概率建模相结合可显著提升关系蕴含任务的性能。
• 提供开源工具和重新标注的数据集，以支持未来在关系推理与知识库补全方面的研究。

提出的方法

• 论文提出ProbE，一种概率模型，通过数据集中的经验频率估计蕴含概率，无需依赖链接预测。
• 将关系蕴含形式化为条件概率：P(Z_r=1 | Z_p=1)，其中Z_r和Z_p分别表示关系r和前提p的真值。
• 该方法使用链接预测模型作为关系元组联合概率的估计器，增强了模型的表达能力。
• 开发了一种新型、有针对性的众包标注框架，以提升标签质量，采用专家共识对17,848个实例进行重新标注。
• 该框架扩展为ProbL，将链接预测嵌入表示与概率模型相结合，使用密集的潜在表示来表示论元和关系。
• 提供了链接预测模型的优化、并行化实现，支持超参数调优与可扩展性。

实验结果

研究问题

• RQ1 形式化的概率模型能否在关系蕴含任务中超越现有的启发式或非概率方法？
• RQ2 链接预测模型在多大程度上能提升关系蕴含系统的性能？
• RQ3 如何系统性地提升现有关系蕴含标注数据集的质量？
• RQ4 能否开发一种可扩展、模块化的链接预测框架，以支持高精度蕴含建模？
• RQ5 使用专家验证的重新标注数据集对模型性能与可靠性有何影响？

主要发现

• ProbE模型在基准数据集上达到0.7915的AUC，超越此前最先进水平0.7812。
• ProbL模型将链接预测与概率框架结合，达到0.8143的AUC，显著优于先前工作。
• 经采用新专家共识框架重新标注后，数据集的精确度从53%提升至95%。
• 17,848个实例的重新标注数据集已公开，以支持未来研究。
• 优化并行化的链接预测框架支持高效超参数调优，并可兼容多种现有模型。
• 概率框架支持组合推理，如P(Z_r=1 | Z_p=1, Z_q=1)，并支持负向蕴含的推理，如P(Z_q=0 | Z_p=1)。