[论文解读] Toward a Deep Neural Approach for Knowledge-Based IR

Gia-Hung Nguyen, Lynda Tamine+2 more|arXiv (Cornell University)|Jun 23, 2016

Topic Modeling参考文献 18被引用 7

一句话总结

本文提出了两种深度神经网络架构，通过整合知识库（KB）来改善即席信息检索中的文档-查询匹配。第一种方法将分布性词嵌入与符号式KB表示融合，以丰富查询和文档的语义；第二种方法利用KB作为语义翻译器，通过联合嵌入空间桥接潜在表示，提升查询与文档之间的语义对齐。

ABSTRACT

This paper tackles the problem of the semantic gap between a document and a query within an ad-hoc information retrieval task. In this context, knowledge bases (KBs) have already been acknowledged as valuable means since they allow the representation of explicit relations between entities. However, they do not necessarily represent implicit relations that could be hidden in a corpora. This latter issue is tackled by recent works dealing with deep representation learn ing of texts. With this in mind, we argue that embedding KBs within deep neural architectures supporting documentquery matching would give rise to fine-grained latent representations of both words and their semantic relations. In this paper, we review the main approaches of neural-based document ranking as well as those approaches for latent representation of entities and relations via KBs. We then propose some avenues to incorporate KBs in deep neural approaches for document ranking. More particularly, this paper advocates that KBs can be used either to support enhanced latent representations of queries and documents based on both distributional and relational semantics or to serve as a semantic translator between their latent distributional representations.

研究动机与目标

• 利用深度神经网络解决即席信息检索中查询与文档之间的语义鸿沟问题。
• 通过引入知识库中的符号化、关系性语义，克服纯分布性词嵌入的局限性。
• 通过在统一的神经架构中结合分布性语义与关系性语义，提升文档-查询匹配效果。
• 探索将知识库作为语义翻译器，将查询与文档的潜在表示对齐于共享嵌入空间。
• 通过结合语料库衍生的分布性语义与结构化KB衍生的关系性语义，推进信息检索中的相关性评分。

提出的方法

• 提出一种混合表示层，将来自文本语料的词嵌入与来自知识库的概念嵌入相结合，同时保留图结构与关系。
• 采用深度语义结构模型（DSSM）框架，将增强后的查询与文档表示投影到低维潜在语义空间。
• 引入三输入神经网络架构，其中知识库作为中介组件，学习查询与文档表示之间的翻译向量。
• 采用联合嵌入学习方法，将查询、文档以及KB衍生的概念-关系向量映射到共享的连续空间，以进行相似性计算。
• 应用神经网络学习基于词项与基于概念的表示的非线性变换，实现细粒度的语义匹配。
• 利用知识库子图嵌入来建模文档与查询中实体之间的组合关系，增强语义丰富性。

实验结果

研究问题

• RQ1 如何有效将知识库整合到深度神经网络架构中，以提升即席信息检索中的文档-查询匹配？
• RQ2 结合来自文本的分布性语义与来自KB的符号语义，是否能产生更优的查询与文档潜在表示？
• RQ3 知识库在多大程度上可作为语义翻译器，弥合查询与文档之间的词汇鸿沟？
• RQ4 与仅使用词嵌入的模型相比，引入基于KB的关系结构在多大程度上能提升深度神经信息检索模型的性能？
• RQ5 何种架构设计最有利于联合学习文档-查询相关性与基于KB的语义对齐？

主要发现

• 将知识库整合到深度神经信息检索模型中，通过结合分布性语义与关系性语义，增强了查询与文档的表示能力。
• 所提出的基于KB的翻译模型通过在嵌入空间中充当语义中介，实现了更有效的查询与文档表示对齐。
• 将词嵌入与来自结构化KB的概念嵌入融合，相比仅使用词嵌入的模型，生成了更丰富、更具语义信息的潜在表示。
• 使用KB子图嵌入能够建模组合关系，提升了系统捕捉复杂语义关系的能力。
• 双重策略——增强表示与基于KB的中介翻译——在提升信息检索任务的相关性评分方面展现出潜力。
• 该框架具有通用性，可推广至DSSM之外，适用于其他深度学习架构，如RNN或记忆网络。