[论文解读] Recursive Graphical Neural Networks for Text Classification

Wei Li, Shuheng Li+4 more|arXiv (Cornell University)|Sep 18, 2019

Topic Modeling参考文献 30被引用 11

一句话总结

该论文提出了一种新型图神经网络架构——递归图神经网络（ReGNN），通过LSTM动态门控邻居信息聚合，缓解了文本图建模中的过平滑问题。通过将基于注意力的邻居聚合与全局图级节点相结合，ReGNN在单标签和多标签文本分类基准上均取得了当前最优性能，显著超越强基线模型，并展现出对过平滑问题的鲁棒性。

ABSTRACT

The complicated syntax structure of natural language is hard to be explicitly modeled by sequence-based models. Graph is a natural structure to describe the complicated relation between tokens. The recent advance in Graph Neural Networks (GNN) provides a powerful tool to model graph structure data, but simple graph models such as Graph Convolutional Networks (GCN) suffer from over-smoothing problem, that is, when stacking multiple layers, all nodes will converge to the same value. In this paper, we propose a novel Recursive Graphical Neural Networks model (ReGNN) to represent text organized in the form of graph. In our proposed model, LSTM is used to dynamically decide which part of the aggregated neighbor information should be transmitted to upper layers thus alleviating the over-smoothing problem. Furthermore, to encourage the exchange between the local and global information, a global graph-level node is designed. We conduct experiments on both single and multiple label text classification tasks. Experiment results show that our ReGNN model surpasses the strong baselines significantly in most of the datasets and greatly alleviates the over-smoothing problem.

研究动机与目标

• 解决图神经网络在应用于文本分类时出现的过平滑问题。
• 提升对长距离依赖关系和全局上下文信息的建模能力，超越RNN或CNN所能实现的范围。
• 通过图级节点增强局部词表示与全局句子级上下文之间的信息流动。
• 设计一种动态、递归的消息传递机制，利用基于LSTM的门控选择性地更新节点表示。
• 在单标签和多标签设置下，通过实证验证ReGNN在标准文本分类基准上的有效性。

提出的方法

• 利用词共现信息构建文本图，以表示标记之间的句法和语义关系。
• 采用注意力机制，根据与当前节点的相关性计算加权邻居表示。
• 使用LSTM单元，通过过滤聚合的邻居信息，动态控制节点隐藏状态的更新。
• 引入一个全局图级节点，聚合所有词节点的信息，并与之交互，以增强全局感知能力。
• 在多层中应用递归消息传递，LSTM门控防止表示崩溃。
• 使用节点表示的最后池化进行分类，通过反向传播实现端到端训练。

实验结果

研究问题

• RQ1 基于LSTM的门控机制是否能有效缓解深度图神经网络在文本分类中的过平滑问题？
• RQ2 引入全局图级节点在多大程度上改善了文本图中的表示学习？
• RQ3 所提出的ReGNN模型是否在单标签和多标签文本分类任务上均优于强基线模型？
• RQ4 基于注意力的邻居聚合在多大程度上增强了对文本图中长距离依赖关系的建模能力？
• RQ5 与GCN和GraphSAGE等标准GNN相比，所提出的架构在表示稳定性和准确性方面表现如何？

主要发现

• ReGNN在R52和Reuters21578数据集上均取得了当前最优性能，R52上的准确率为95.29%，Reuters21578上的准确率为82.01%。
• 消融研究显示，移除LSTM组件导致性能下降最大（R52上从95.29%降至84.74%），证实其在缓解过平滑问题中的关键作用。
• 不包含全局节点的模型表现更差（R52上为93.85%），表明全局上下文注入能提升表示质量。
• 注意力机制贡献显著，移除后R52上的准确率降至94.39%，表明其在选择性信息聚合中的重要性。
• 注意力热力图可视化结果表明，模型能正确聚焦于相关词语（如“wheat”对应标签“grain”），未出现注意力均匀化现象。
• 余弦距离分析显示，与GCN和GraphSAGE相比，ReGNN在各层间保持了更高的节点表示多样性，证实其有效缓解了过平滑问题。