[论文解读] Symbolic Querying of Vector Spaces: Probabilistic Databases Meets Relational Embeddings

Tal Friedman, Guy Van den Broeck|arXiv (Cornell University)|Feb 24, 2020

Bayesian Modeling and Causal Inference参考文献 39被引用 4

一句话总结

该论文提出 TractOR，一种新颖的关系嵌入模型，将概率数据库（PDB）与关系嵌入相结合，实现对不完整和不确定数据的高效、合理概率查询。通过将实体和关系嵌入为向量，并施加与 PDB 语义兼容的分解结构，TractOR 在支持复杂查询的可 tractable 推理的同时，保持了强大的概率基础，在查询预测任务中优于基线模型，即使在非负参数等约束条件下也表现出稳健性。

ABSTRACT

We propose unifying techniques from probabilistic databases and relational embedding models with the goal of performing complex queries on incomplete and uncertain data. We formalize a probabilistic database model with respect to which all queries are done. This allows us to leverage the rich literature of theory and algorithms from probabilistic databases for solving problems. While this formalization can be used with any relational embedding model, the lack of a well-defined joint probability distribution causes simple query problems to become provably hard. With this in mind, we introduce \TO, a relational embedding model designed to be a tractable probabilistic database, by exploiting typical embedding assumptions within the probabilistic framework. Using a principled, efficient inference algorithm that can be derived from its definition, we empirically demonstrate that \TOs is an effective and general model for these querying tasks.

研究动机与目标

• 解决现有关系嵌入模型的局限性，这些模型缺乏一致的概率语义，且在链路预测之外的复杂查询方面表现不佳。
• 克服概率数据库在从不完整数据中填充有意义概率时的脆弱性，以及在高效处理复杂查询方面的不足。
• 将关系嵌入的预测能力与 PDB 的正式概率语义统一，实现对不确定、不完整关系数据的可靠且可 tractable 的推理。
• 设计一种不仅支持链路预测，还能实现复杂查询评估的模型，同时保证可 tractable 性和原则性推理。

提出的方法

• 将概率数据库（PDB）框架形式化为关系嵌入的底层语义，确保独立性假设的明确定义和概率一致性。
• 提出 TractOR，一种关系嵌入模型，通过将实体和关系嵌入为向量，并使用尊重 PDB 因子分解结构的评分函数，使其本身成为可 tractable 的 PDB。
• 利用嵌入模型中常见的因子分解假设（如 DistMult）来确保联合概率分布的可 tractable 性和高效可计算性。
• 从模型定义中推导出高效的推理算法，实现对完整概率空间中查询概率的快速且精确计算。
• 使用标准嵌入技术（负采样、最大间隔损失）训练 TractOR，同时保持与 PDB 语义的兼容性，以支持下游推理。
• 在复杂查询预测任务上评估 TractOR，与包括 DistMult 和 TransE 在内的基线模型进行比较，使用 AUC 等指标。

实验结果

研究问题

• RQ1 能否设计一种关系嵌入模型，使其不仅支持链路预测，还能支持具有可 tractable 推理的复杂概率查询？
• RQ2 如何有效结合概率数据库的概率语义与关系嵌入的预测能力？
• RQ3 在嵌入模型中可利用哪些结构假设，以确保在不确定数据上的概率推理具有可 tractable 性？
• RQ4 与标准嵌入模型相比，强制采用与 PDB 兼容的因子分解在查询回答的效率和可靠性方面能提升多少？

主要发现

• TractOR 在查询预测任务中表现具有竞争力，尤其在复杂查询设置下，优于或匹配 DistMult 和 TransE 等基线模型。
• 即使在参数被约束为非负值时，模型仍保持强劲性能，但相比 TractOR+ 略有下降，表明负嵌入能提升表达能力与训练稳定性。
• 实证结果表明，TractOR 不仅适用于链路预测，也适用于复杂查询，因其能够表示完整概率分布，从而实现高效且准确的推理。
• TractOR 与 TractOR+ 之间的差距凸显了模型表达能力的重要性：允许负值显著提升了链路预测性能，从而增强了查询预测表现。
• TractOR 的设计因具备因子分解结构，实现了高效推理，使其能够执行在标准 PDB 中被证明是计算困难的复杂概率推理。