[论文解读] Reinforcement Learning Enhanced Heterogeneous Graph Neural Network.

Zhiqiang Zhong, Cheng–Te Li+1 more|arXiv (Cornell University)|Oct 26, 2020

Advanced Graph Neural Networks参考文献 40被引用 10

一句话总结

该论文提出 RL-HGNN，一种基于强化学习的框架，可自动学习异构图神经网络的最优元路径，消除对手动设计元路径的依赖。通过将元路径发现建模为马尔可夫决策过程，并基于下游任务性能通过深度强化学习训练策略网络，RL-HGNN 发现了有意义的、数据驱动的元路径，从而在复杂 HIN 中提升表征学习效果。

ABSTRACT

Heterogeneous Information Networks (HINs), involving a diversity of node types and relation types, are pervasive in many real-world applications. Recently, increasing attention has been paid to heterogeneous graph representation learning (HGRL) which aims to embed rich structural and semantics information in HIN into low-dimensional node representations. To date, most HGRL models rely on manual customisation of meta paths to capture the semantics underlying the given HIN. However, the dependency on the handcrafted meta-paths requires rich domain knowledge which is extremely difficult to obtain for complex and semantic rich HINs. Moreover, strictly defined meta-paths will limit the HGRL's access to more comprehensive information in HINs. To fully unleash the power of HGRL, we present a Reinforcement Learning enhanced Heterogeneous Graph Neural Network (RL-HGNN), to design different meta-paths for the nodes in a HIN. Specifically, RL-HGNN models the meta-path design process as a Markov Decision Process and uses a policy network to adaptively design a meta-path for each node to learn its effective representations. The policy network is trained with deep reinforcement learning by exploiting the performance of the model on a downstream task. We further propose an extension, RL-HGNN++, to ameliorate the meta-path design procedure and accelerate the training process. Experimental results demonstrate the effectiveness of RL-HGNN, and reveals that it can identify meaningful meta-paths that would have been ignored by human knowledge.

研究动机与目标

• 解决异构图表示学习（HGRL）中人工设计元路径的局限性，该方法需要大量领域知识。
• 克服预定义元路径的僵化性，该僵化性限制了对 HIN 中全面结构与语义信息的访问。
• 开发一种端到端、自适应的元路径发现方法，以提升下游任务性能。
• 实现自动化、数据驱动的有意义元路径发现，这些元路径可能被人类专家忽略。

提出的方法

• 将元路径设计过程建模为马尔可夫决策过程（MDP），其中动作对应于按顺序选择邻居类型。
• 采用策略网络，基于 HIN 的当前状态和节点的局部邻域，生成特定于节点的元路径。
• 使用深度强化学习训练策略网络，奖励信号源自 HGNN 在下游预测任务上的性能。
• 提出 RL-HGNN++ 作为扩展，通过架构和训练优化提升训练效率和元路径设计质量。
• 利用注意力机制和图卷积层，沿动态学习的元路径聚合表示。
• 采用策略梯度方法，基于最终任务性能反馈优化元路径生成策略。

实验结果

研究问题

• RQ1 强化学习能否有效实现异构信息网络中意义明确的元路径的自动化发现？
• RQ2 RL-HGNN 与依赖人工设计元路径的现有 HGRL 模型相比，性能如何？
• RQ3 RL-HGNN 发现的元路径类型为何？与人工设计的元路径相比，其语义可解释性或意义如何？
• RQ4 所提出的方法能否在具有不同节点和关系类型的多样化 HIN 上实现泛化？
• RQ5 与基础模型 RL-HGNN 相比，RL-HGNN++ 是否显著提升训练速度和收敛性？

主要发现

• 与使用人工设计元路径的最先进 HGRL 模型相比，RL-HGNN 在下游节点分类和链接预测任务中表现更优。
• 该模型发现的元路径语义上有意义，且常被人类专家忽略，证明其能够揭示隐藏的结构模式。
• RL-HGNN++ 在保持或提升性能的同时，显著缩短了训练时间并加快了收敛速度。
• 策略网络成功学习到为不同节点生成多样化且上下文感知的元路径，从而提升了表征质量。
• 实验表明，基于下游任务准确率的强化学习信号能有效引导高质量元路径的发现。
• 该框架在多个真实世界异构网络上表现出良好的泛化能力，表明其对结构和语义差异具有鲁棒性。