[论文解读] R-VGAE: Relational-variational Graph Autoencoder for Unsupervised Prerequisite Chain Learning

Irene Li, Alexander R. Fabbri+2 more|arXiv (Cornell University)|Apr 22, 2020

Topic Modeling参考文献 31被引用 5

一句话总结

该论文提出R-VGAE，一种关系-变分图自编码器，通过将概念和教育资料建模为异质图中的节点，以无监督方式学习概念之间的先修关系。利用深度节点嵌入（尤其是P2V），R-VGAE实现了最先进性能，在准确率上比半监督基线模型最高提升9.77%，在F1分数上最高提升10.47%，标志着首个利用深度学习表示进行无监督先修链学习的图神经网络模型。

ABSTRACT

The task of concept prerequisite chain learning is to automatically determine the existence of prerequisite relationships among concept pairs. In this paper, we frame learning prerequisite relationships among concepts as an unsupervised task with no access to labeled concept pairs during training. We propose a model called the Relational-Variational Graph AutoEncoder (R-VGAE) to predict concept relations within a graph consisting of concept and resource nodes. Results show that our unsupervised approach outperforms graph-based semi-supervised methods and other baseline methods by up to 9.77% and 10.47% in terms of prerequisite relation prediction accuracy and F1 score. Our method is notably the first graph-based model that attempts to make use of deep learning representations for the task of unsupervised prerequisite learning. We also expand an existing corpus which totals 1,717 English Natural Language Processing (NLP)-related lecture slide files and manual concept pair annotations over 322 topics.

研究动机与目标

• 为解决获取昂贵的人工标注先修关系的问题，该问题随概念数量的增加呈二次方增长。
• 通过在图结构框架中引入P2V和BERT等深度学习表示，提升先修链学习性能。
• 开发一种无监督方法，避免在训练过程中依赖标注的概念对，从而提高实际应用中的适用性。
• 扩展一个现有的NLP讲座语料库，包含1,717个幻灯片文件和322个概念，涵盖五个领域，共标注103,362条先修关系。
• 创建公开可用的数据集和代码库，以支持先修学习研究的可复现性与未来研究。

提出的方法

• 构建一个异质图，其中包含概念节点和资源（讲座幻灯片）节点，并通过共现关系和依赖关系连接。
• 使用关系-变分图自编码器（R-VGAE）通过消息传递机制建模多种边类型，联合学习节点表示。
• 在图自编码器中应用变分推理框架，实现在无真实概念-概念关系监督下的端到端训练。
• 将预训练的深度嵌入（P2V、BERT、TF-IDF）作为输入特征，以捕捉概念和资源的语义含义。
• 在无监督设置下训练模型，通过重构图中的边实现，训练过程中无需标注的先修对。
• 采用一种传播规则，同时考虑概念-资源和资源-资源连接，以增强表示学习，并间接推断概念层面的先修关系。

实验结果

研究问题

• RQ1 基于图的深度学习模型是否能在不使用任何标注训练对的情况下，学习到准确的概念间先修关系？
• RQ2 不同输入嵌入（P2V、BERT、TF-IDF）对无监督先修关系预测性能有何影响？
• RQ3 与仅使用概念节点的模型相比，引入资源节点在多大程度上提升了所学先修链的质量？
• RQ4 与半监督和监督基线相比，所提出的R-VGAE模型在准确率和F1分数上的表现如何？
• RQ5 该模型能否泛化到具有多个先修条件的复杂概念（如“依存句法分析”或“树 adjoining 语法”）？

主要发现

• 在无监督先修关系预测中，R-VGAE在准确率上比最佳基线模型（BERT原始模型）提升9.77%，在F1分数上提升10.47%。
• 使用P2V嵌入的模型优于TF-IDF和BERT嵌入，表明密集且低维的表示对本任务更有效。
• 尽管预测的边数更少（平均度数6.10 vs. 基金图中的9.79），R-VGAE仍保持高精确度，仅在“依存句法分析”中漏掉一条先修关系。
• 对于“树 adjoining 语法”，模型成功恢复了全部八个真实先修概念，表明其在复杂、多先修条件概念上的强大性能。
• 当结合半监督预训练（SS+P2V）时，模型性能显著提升，表明弱监督能增强无监督学习效果。
• R-VGAE是首个成功利用深度学习表示实现无监督先修学习的图基方法，在该领域树立了新基准。