[论文解读] Predicting the Co-Evolution of Event and Knowledge Graphs

Cristóbal Esteban, Volker Tresp+3 more|arXiv (Cornell University)|Dec 21, 2015

Advanced Graph Neural Networks参考文献 24被引用 31

一句话总结

本文提出了一种基于张量表示学习的联合建模框架，用于知识图谱（KGs）与事件图谱的共同演化。通过在知识图谱和事件张量的潜在表示上训练预测模型——其中事件驱动知识图谱的变更——该方法能够准确预测未来事件及相应的知识图谱状态转换，在临床、推荐和传感器网络应用中表现出色，预测时域为10个时间步，最优历史长度为T=10。

ABSTRACT

Embedding learning, a.k.a. representation learning, has been shown to be able to model large-scale semantic knowledge graphs. A key concept is a mapping of the knowledge graph to a tensor representation whose entries are predicted by models using latent representations of generalized entities. Knowledge graphs are typically treated as static: A knowledge graph grows more links when more facts become available but the ground truth values associated with links is considered time invariant. In this paper we address the issue of knowledge graphs where triple states depend on time. We assume that changes in the knowledge graph always arrive in form of events, in the sense that the events are the gateway to the knowledge graph. We train an event prediction model which uses both knowledge graph background information and information on recent events. By predicting future events, we also predict likely changes in the knowledge graph and thus obtain a model for the evolution of the knowledge graph as well. Our experiments demonstrate that our approach performs well in a clinical application, a recommendation engine and a sensor network application.

研究动机与目标

• 建模知识图谱的动态演化，其中三元组状态随时间变化而改变。
• 将事件视为知识图谱变化的主要驱动力，实现事件驱动的知识图谱更新。
• 开发一个统一的框架，联合建模事件与知识图谱的演化过程，利用潜在表示。
• 通过结合历史事件与知识图谱背景知识，提升动态领域中的预测准确性。
• 在包括医疗保健、推荐系统和传感器网络在内的多样化真实应用场景中验证该方法。

提出的方法

• 将知识图谱和事件图谱表示为多维张量（KG-张量与事件-张量），以捕捉时间关系。
• 使用张量分解模型（如RESCAL、TransE或神经张量网络）学习实体与事件的潜在表示。
• 训练一个独立的预测模型，以过去事件和知识图谱实体的潜在表示作为输入，预测未来事件。
• 在连续领域（如传感器数据）的回归任务中使用高斯似然模型，并采用移动平均平滑以减少噪声。
• 设计三种预测模型：Pred1（基于特定传感器的历史数据）、Pred2（基于全网历史数据）和Pred3（结合输入），其中T=10为最优历史长度。
• 在训练数据中使用5%进行验证与早停策略，传感器网络实验中采用4个月训练与1个月测试。

实验结果

研究问题

• RQ1 联合建模事件与知识图谱的演化是否能提升动态领域中的预测准确性？
• RQ2 知识图谱与事件张量的潜在表示如何促进未来事件的预测？
• RQ3 捕捉事件预测中时间依赖性的最优历史长度（T）是多少？
• RQ4 结合本地传感器历史与全局网络历史对预测性能有何影响？
• RQ5 所提出的框架能否在医疗保健、推荐系统和传感器网络等多样化应用中实现泛化？

主要发现

• 所提出的模型在预测未来传感器测量值方面优于多种基线方法，包括最近观测预测、线性回归和前馈神经网络。
• Pred1（使用单个传感器历史）在三种模型中表现最佳，表明局部时间模式具有高度预测性。
• Pred2（使用全网历史）的表现仅略优于前馈神经网络基线，表明在此特定传感器网络场景中全局历史的收益有限。
• Pred3（结合本地与全局输入）未超越Pred1，表明联合表示可能引入不必要的复杂性或噪声。
• 所有模型的最优历史长度（T）均为10个时间步，平衡了时间上下文与噪声。
• 该框架在三个不同领域（临床记录、用户偏好演化与传感器网络数据）中均表现出强大的泛化能力，证实了其通用性。