[论文解读] SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions

Han Xiao, Minlie Huang+1 more|arXiv (Cornell University)|Apr 17, 2016

Topic Modeling被引用 117

一句话总结

SSP 共同学习来自符号三元组和文本描述，通过将三元组损失投影到语义超平面，提升知识图谱补全和实体分类相较于基线。

ABSTRACT

Knowledge representation is an important, long-history topic in AI, and there have been a large amount of work for knowledge graph embedding which projects symbolic entities and relations into low-dimensional, real-valued vector space. However, most embedding methods merely concentrate on data fitting and ignore the explicit semantic expression, leading to uninterpretable representations. Thus, traditional embedding methods have limited potentials for many applications such as question answering, and entity classification. To this end, this paper proposes a semantic representation method for knowledge graph extbf{(KSR)}, which imposes a two-level hierarchical generative process that globally extracts many aspects and then locally assigns a specific category in each aspect for every triple. Since both aspects and categories are semantics-relevant, the collection of categories in each aspect is treated as the semantic representation of this triple. Extensive experiments justify our model outperforms other state-of-the-art baselines substantially.

研究动机与目标

• 利用实体和关系的文本描述来提升知识图谱嵌入的动机。
• 提出语义空间投影（SSP）模型，通过一个语义超平面将三元组与文本耦合。
• 证明将损失向量投影到语义子空间能够获得更好的判别性和语义相关性。
• 在基准数据集上展示在知识图谱补全和实体分类方面的改进。

提出的方法

• 用 TransE 风格的嵌入表示，将一个三元组表示为损失向量 e = h + r − t。
• 使用从文本中得到的语义向量 s（s = S(sh, st)）来定义一个语义超平面。
• 将 e 投影到超平面以得到 e − s^T e s，并用 f_r(h,t) = −λ ||e − s^T e s||^2 + ||e||^2 进行评分。
• 使用主题模型（Std）从文本描述中生成语义向量，或通过与嵌入联合学习（Joint）获得语义向量。
• 通过 S(sh, st) = (sh + st) / ||sh + st||^2 形成超平面法向量，从而形成头/尾实体的语义向量。
• 采用基于排序的 hinge 损失对嵌入进行训练，并使用非负矩阵分解（NMF）主题建模的主题损失，与 μ 平衡共同训练。
• 对负三元组使用伯努利采样，使用 SGD 进行优化。
• 设定超参数：d ≈ 100，γ，λ ≈ 0.2–0.6（取决于数据集），μ 控制联合训练。

实验结果

研究问题

• RQ1 文本描述是否能通过投影嵌入到语义子空间来有效地与符号三元组进行整合？
• RQ2 SSP 是否在知识图谱补全（链接预测）和实体分类方面超过文本感知和仅三元组的基线？
• RQ3 Std（基于主题）与 Joint（文本与三元组共同学习）设置在性能和收敛性方面有何差异？
• RQ4 通过语义超平面建模的强相关性在判别性和预测精度中扮演的角色是什么？

主要发现

数据集 / 模型	Mean Rank	HITS@10
FB15K - TransE	210	119
FB15K - TransH	212	87
FB15K - Jointly	167	39
FB15K - DKRL(BOW)	200	113
FB15K - DKRL(ALL)	181	93
FB15K - SSP (Std.)	213	113
FB15K - SSP (Joint)	188	85
WN18 - TransE	263	251
WN18 - TransH	401	338
WN18 - SSP (Std.)	312	193
WN18 - SSP (Joint)	168	156

• SSP 在基准数据集上的知识图谱补全和实体分类任务上始终优于基线。
• SSP(Joint) 相对于 SSP(Std.) 产生了更大的改进，凸显了将文本语义与三元组共同学习的好处。
• 通过语义超平面建模的强文本–三元组相关性提供的判别性优于一阶文本–三元组交互。
• SSP 在 FB15K 和 WN18 上显著提升基于排序的指标（Mean Rank、HITS@10），并在 FB15K/FB20K 的实体分类中达到更高的 MAP。
• 相较于 TransE，SSP 由于语义投影显示出明显的提升，并通过强相关性建模超越了 DKRL 的变体。