[论文解读] Towards a Flexible Embedding Learning Framework

Chin‐Chia Michael Yeh, Dhruv Gelda+4 more|arXiv (Cornell University)|Sep 23, 2020

Advanced Graph Neural Networks参考文献 34被引用 6

一句话总结

该论文提出了一种灵活的嵌入学习框架，使用多个实体-关系矩阵作为输入，以捕捉跨多种数据类型的异质关系。通过采用受核归一化启发的采样机制并直接集成领域知识，该框架在文本和交易数据集上的聚类、分类和可视化任务中均优于当前最先进方法。

ABSTRACT

Representation learning is a fundamental building block for analyzing entities in a database. While the existing embedding learning methods are effective in various data mining problems, their applicability is often limited because these methods have pre-determined assumptions on the type of semantics captured by the learned embeddings, and the assumptions may not well align with specific downstream tasks. In this work, we propose an embedding learning framework that 1) uses an input format that is agnostic to input data type, 2) is flexible in terms of the relationships that can be embedded into the learned representations, and 3) provides an intuitive pathway to incorporate domain knowledge into the embedding learning process. Our proposed framework utilizes a set of entity-relation-matrices as the input, which quantifies the affinities among different entities in the database. Moreover, a sampling mechanism is carefully designed to establish a direct connection between the input and the information captured by the output embeddings. To complete the representation learning toolbox, we also outline a simple yet effective post-processing technique to properly visualize the learned embeddings. Our empirical results demonstrate that the proposed framework, in conjunction with a set of relevant entity-relation-matrices, outperforms the existing state-of-the-art approaches in various data mining tasks.

研究动机与目标

• 解决现有嵌入方法假设单一关系类型且在捕捉异质语义方面僵化的问题。
• 通过使用实体-关系矩阵作为输入，实现对输入数据类型无关的表征学习。
• 通过可定制的矩阵构建，提供直观的途径以整合领域知识。
• 通过联合建模来自同一数据库的多种关系类型，提升嵌入质量。
• 开发一种后处理技术，实现对不同实体类型的嵌入进行准确的2D/3D可视化。

提出的方法

• 使用实体-关系矩阵表示实体之间的关系，其中每个矩阵基于特定关系类型量化实体间的亲和力。
• 在优化过程中设计一种采样机制，从多个矩阵中抽样，受多核学习中核归一化的启发，以平衡各矩阵的贡献。
• 通过最小化损失函数来优化嵌入空间，该损失函数鼓励相关实体之间具有高相似性，不相关实体之间具有低相似性。
• 为所有不同类型的实体使用共享的嵌入空间，实现联合表征学习。
• 应用一种后处理技术，将高维嵌入投影到2D或3D空间，以实现有意义的可视化，避免标准方法（如t-SNE或MDS）的失败。
• 从多种来源构建实体-关系矩阵，例如交易中的共现、共享用户或名称相似性，以反映异质关系。

Figure 1: Motivating Example. A use case of the proposed framework for credit card transaction database. Five matrices describing the relationships of restaurant, cuisine style, user, and word appears in name of restaurant are extracted from credit card transaction database. Embeddings are learned u

实验结果

研究问题

• RQ1 统一的嵌入框架是否能在不假设单一潜在语义结构的前提下，有效学习多种异质关系类型？
• RQ2 基于核归一化的采样机制相比标准矩阵分解方法，如何提升嵌入质量？
• RQ3 通过实体-关系矩阵的设计，能在多大程度上直观地将领域知识注入学习过程？
• RQ4 该框架在聚类和分类等下游任务中是否优于现有最先进方法，且适用于多种数据类型？
• RQ5 所提出的后处理技术是否能产生比现成降维方法更准确、更具可解释性的嵌入可视化结果？

主要发现

• 在20news和RCV1文本数据集上，该框架在聚类、分类和可视化三项评估指标上均优于当前最先进方法。
• 使用多个实体-关系矩阵（如共现、用户共享、名称相似性）可生成比仅依赖单一矩阵类型更具信息量的嵌入。
• 即使使用来自外部数据集（如Wikipedia嵌入）的矩阵，该框架仍能实现优异性能，证明其灵活性与泛化能力。
• 后处理技术成功地在2D/3D空间中可视化了嵌入，揭示了有意义的聚类和语义分组，而t-SNE或MDS等标准方法则无法保持结构。
• 对学习嵌入生成的词云进行主观分析，确认文档嵌入与相关词汇在语义上对齐，表明上下文语义被有效捕捉。
• 超参数敏感性分析显示，该框架在不同配置下均表现稳定，进一步验证了其鲁棒性。

Figure 2: Example entity-relation-matrices.