[论文解读] NodeNet: A Graph Regularised Neural Network for Node Classification

Shrey Dabhi, Manojkumar Parmar|arXiv (Cornell University)|Jun 16, 2020

Advanced Graph Neural Networks参考文献 12被引用 9

一句话总结

NodeNet 是一种图正则化的神经网络，通过将神经图学习（NGL）中的损失函数修改为使用余弦相似度而非 L2 距离来衡量相连节点之间的特征相似度，从而提升节点分类性能。它在引文网络（Cora、CiteSeer、PubMed）上实现了最先进（SOTA）的性能，PubMed 上的准确率最高提升至 90.21%，通过结合 TF-IDF 特征预处理、批量归一化、Dropout 以及改进的损失函数，增强了泛化能力并减少了过拟合。

ABSTRACT

Real-world events exhibit a high degree of interdependence and connections, and hence data points generated also inherit the linkages. However, the majority of AI/ML techniques leave out the linkages among data points. The recent surge of interest in graph-based AI/ML techniques is aimed to leverage the linkages. Graph-based learning algorithms utilize the data and related information effectively to build superior models. Neural Graph Learning (NGL) is one such technique that utilizes a traditional machine learning algorithm with a modified loss function to leverage the edges in the graph structure. In this paper, we propose a model using NGL - NodeNet, to solve node classification task for citation graphs. We discuss our modifications and their relevance to the task. We further compare our results with the current state of the art and investigate reasons for the superior performance of NodeNet.

研究动机与目标

• 解决图神经网络在节点分类中出现的过拟合与过平滑问题。
• 通过改进神经图学习（NGL）框架，提升引文网络中的节点分类性能。
• 研究特征表示（TF-IDF 与二值计数）和损失函数设计对模型泛化能力的影响。
• 开发一种稳健且可适应的架构，在标准引文基准上超越现有方法。

提出的方法

• 通过将 NGL 损失函数中的 L2 距离度量替换为余弦相似度，以更好地捕捉节点表示之间的语义相似度。
• 对二值特征计数应用 TF-IDF 向量化，将特征转换为加权表示，提升模型学习能力。
• 在全连接网络架构中引入批量归一化和 Dropout 层，以缓解过拟合。
• 采用多组件损失函数，通过边权重和相似度分数对已标记-已标记、已标记-未标记以及未标记-未标记的节点对进行正则化。
• 使用标准的前馈神经网络，配合 ReLU 激活函数和最终的 Softmax 层进行分类。
• 使用随机梯度下降优化最终的代价函数，结合交叉熵分类损失和图正则化项。

实验结果

研究问题

• RQ1 在 NGL 损失函数中，将 L2 距离替换为余弦相似度对节点分类性能有何影响？
• RQ2 与二值计数相比，TF-IDF 特征表示在多大程度上能提升模型收敛速度和准确率？
• RQ3 如批量归一化和 Dropout 等架构改进能否有效减少图正则化节点分类中的过拟合？
• RQ4 图正则化对泛化能力有何影响，特别是在数据量较少的情况下？

主要发现

• NodeNet 在 PubMed 数据集上实现了 90.21% 的测试准确率，超越了此前最先进方法的 87.80%。
• 在 Cora 上，NodeNet 达到了 86.80% 的准确率，优于此前最先进方法的 86.00%。
• 在 CiteSeer 上，NodeNet 达到了 80.09% 的准确率，超过此前最先进方法的 78.70%。
• 使用 TF-IDF 特征可实现更快且更稳定的训练收敛，尤其在 PubMed 上表现显著。
• 采用损失函数中余弦相似度的模型相比基于 L2 的 NGL 展现出更好的泛化能力并减少了过拟合。
• TF-IDF 特征、批量归一化和 Dropout 的组合显著提升了模型在所有数据集上的鲁棒性和性能。