[论文解读] TempoQR: Temporal Question Reasoning over Knowledge Graphs

Costas Mavromatis, Prasanna Lakkur Subramanyam+6 more|arXiv (Cornell University)|Dec 10, 2021

Topic Modeling被引用 8

一句话总结

TempoQR 是一种新颖的基于嵌入的框架，用于在时间知识图谱（TKG）上进行复杂的时间问答任务，通过专用模块和 Transformer 编码器，融合上下文、实体和时间感知表示。在复杂时间问题上，其性能相比最先进方法提升 25–45 个百分点，且对未见问题类型的泛化能力更优。

ABSTRACT

Knowledge Graph Question Answering (KGQA) involves retrieving facts from a Knowledge Graph (KG) using natural language queries. A KG is a curated set of facts consisting of entities linked by relations. Certain facts include also temporal information forming a Temporal KG (TKG). Although many natural questions involve explicit or implicit time constraints, question answering (QA) over TKGs has been a relatively unexplored area. Existing solutions are mainly designed for simple temporal questions that can be answered directly by a single TKG fact. This paper puts forth a comprehensive embedding-based framework for answering complex questions over TKGs. Our method termed temporal question reasoning (TempoQR) exploits TKG embeddings to ground the question to the specific entities and time scope it refers to. It does so by augmenting the question embeddings with context, entity and time-aware information by employing three specialized modules. The first computes a textual representation of a given question, the second combines it with the entity embeddings for entities involved in the question, and the third generates question-specific time embeddings. Finally, a transformer-based encoder learns to fuse the generated temporal information with the question representation, which is used for answer predictions. Extensive experiments show that TempoQR improves accuracy by 25--45 percentage points on complex temporal questions over state-of-the-art approaches and it generalizes better to unseen question types.

研究动机与目标

• 为解决在时间知识图谱（TKG）上回答复杂时间问题的差距，此类问题需要在具有时间约束的多个事实间进行推理。
• 提升对仅能通过单个 TKG 事实回答的简单问题之外的泛化能力，特别是针对训练期间未见的问题类型。
• 开发一个统一框架，通过硬监督和软监督相结合的方式，将问题定位到特定的实体和时间范围。
• 通过专用模块和基于 Transformer 的融合层，整合文本、实体和时间信息，增强问题表示。
• 评估在 TKG 被破坏情况下的鲁棒性，并评估在未见时间问题模式上的性能。

提出的方法

• 使用预训练语言模型生成输入问题的初始文本表示。
• 将知识图谱中的实体嵌入与问题表示相结合，以将问题定位到相关实体，如 '最佳影片' 或 '教父'。
• 通过两种互补方法生成时间感知嵌入：(1) 基于问题标注的实体检索相关 TKG 事实；(2) 通过链接预测任务推断时间约束，无需直接访问 TKG。
• 采用基于 Transformer 的编码器，将上下文、实体和时间感知表示融合为统一的问题表示，用于答案预测。
• 支持硬监督（使用实际的 TKG 时间戳）和软监督（通过链接预测推断），以实现鲁棒性和泛化能力。
• 应用多头注意力机制，动态加权推理过程中不同时间事实和实体关系的相关性。

实验结果

研究问题

• RQ1 问答系统如何在 TKG 中有效推理多个时间事实，以回答复杂的时间问题？
• RQ2 学习到的时间表示在未见问题类型上的泛化能力有多强，这些类型在训练期间未被见过？
• RQ3 在学习 TKG 时间感知问题表示时，硬监督与软监督的相对影响是什么？
• RQ4 不同方法在推理过程中面对底层 TKG 损坏时的鲁棒性如何？
• RQ5 统一的嵌入框架是否能在简单和复杂的时间问答基准上均优于现有方法？

主要发现

• 在复杂时间问题上，TempoQR 相比最先进方法在 Hits@1 上实现了 25–45 个百分点的提升，硬监督设置下 Hits@1 达到 0.918。
• TempoQR-Soft 在未见问题类型上的泛化能力显著优于 TempoQR-Hard，在未见复杂问题类型的零样本评估中全面超越所有基线模型。
• 对于 '首次/最后一次' 问题，硬监督相比软监督实现了 27% 的绝对性能提升，表明在精确时间戳可用时其有效性更高。
• TempoQR-Hard 对 TKG 损坏极为敏感，尤其在高损坏率（p=0.8）下性能显著下降，而 CronKGQA 保持更强的鲁棒性。
• 在 TKG 被损坏的情况下，TempoQR-Hard 在 '首次/最后一次' 问题上的性能下降最为严重，表明当真实时间戳不可靠时，其泛化能力存在局限。
• 对于 '时间连接' 问题，TempoQR-Soft 比 TempoQR-Hard 低 8%，表明在软监督时间嵌入推理方面仍有改进空间。