[论文解读] Text Level Graph Neural Network for Text Classification

Lianzhe Huang, Dehong Ma+3 more|arXiv (Cornell University)|Oct 6, 2019

Topic Modeling参考文献 31被引用 12

一句话总结

本文提出了一种文本级别图神经网络（TL-GNN），通过使用局部词窗为每个输入文本构建独立的图，实现了在线推理并降低了内存消耗。通过共享全局参数并利用小上下文边进行消息传递，TL-GNN 在文本分类基准上实现了最先进性能，且内存使用量显著低于全语料图神经网络。

ABSTRACT

Recently, researches have explored the graph neural network (GNN) techniques on text classification, since GNN does well in handling complex structures and preserving global information. However, previous methods based on GNN are mainly faced with the practical problems of fixed corpus level graph structure which do not support online testing and high memory consumption. To tackle the problems, we propose a new GNN based model that builds graphs for each input text with global parameters sharing instead of a single graph for the whole corpus. This method removes the burden of dependence between an individual text and entire corpus which support online testing, but still preserve global information. Besides, we build graphs by much smaller windows in the text, which not only extract more local features but also significantly reduce the edge numbers as well as memory consumption. Experiments show that our model outperforms existing models on several text classification datasets even with consuming less memory.

研究动机与目标

• 为解决全语料图神经网络在文本分类中的局限性，特别是高内存占用和不支持在线推理的问题。
• 开发一种基于图神经网络的模型，能够在保持全局信息的同时，实现与完整语料无关的每文本图构建。
• 通过将连接限制在小滑动窗口内的邻近词语之间，减少边的数量和内存消耗。
• 提升模型在流式或在线文本分类实际部署场景中的效率与可扩展性。

提出的方法

• 为每个输入序列构建一个文本级别图，其中节点表示词嵌入，边连接固定大小窗口（大小为 p）内的词语。
• 在所有文本级别图之间共享全局参数（词表示和边权重），以实现参数效率并支持联合训练。
• 采用消息传递机制，使每个节点从其局部窗口内的邻近节点聚合信息以更新自身表示。
• 通过最大池化操作对消息进行聚合，生成非线性、具有判别性的节点表示。
• 使用共享的全局嵌入矩阵和边权重矩阵，并将稀有边映射到“公共”边类型以稳定训练过程。
• 通过全局平均池化聚合最终的节点表示，生成用于分类的文本级别表示。

实验结果

研究问题

• RQ1 能否设计一种基于图神经网络的文本分类模型，实现无需依赖固定全语料图结构的在线推理？
• RQ2 与全图或大上下文图相比，将词语间连接限制在小局部窗口内，对性能和内存消耗有何影响？
• RQ3 与固定预计算的权重（如PMI）相比，可学习的边权重在多大程度上提升模型性能？
• RQ4 在文本级别图之间共享全局参数，是否能在降低内存占用的同时保持或提升分类准确率？
• RQ5 消息聚合函数的选择（如最大池化与平均池化）对模型性能有何影响？

主要发现

• TL-GNN 在 R8、R52 和 Ohsumed 数据集上均达到最先进性能，R8 上准确率达到 97.8%，R52 上达到 94.6%。
• 由于局部窗口化导致边数显著减少，该模型的内存消耗远低于以往的全语料图神经网络。
• 性能在 p=3 时达到峰值，表明局部上下文（3 个邻居）为最优；更大的窗口会因局部特征敏感性下降而降低性能。
• 移除可学习边权重（改用 PMI 固定权重）导致准确率下降 0.6–1.0%，证明可学习关系的重要性。
• 将最大池化替换为平均池化导致性能下降，证实最大池化在突出判别性特征方面的优势。
• 移除预训练词嵌入导致准确率出现轻微但可测量的下降，表明其对初始表示具有积极贡献。