[论文解读] Understanding Graph Convolutional Networks for Text Classification

Soyeon Caren Han, Zihan Yuan+3 more|arXiv (Cornell University)|Mar 30, 2022

Advanced Graph Neural Networks被引用 6

一句话总结

本文对文本分类中的图构建与GCN学习机制进行了全面的实证分析，评估了在全监督与半监督设置下节点/边表示以及GCN层深度的影响。研究发现，使用全部三种边类型（d2w+w2w+d2d）并采用两层GCN可获得最佳性能；在低资源语言中，one-hot嵌入优于BERT，原因在于低资源语言的预训练质量较差。

ABSTRACT

Graph Convolutional Networks (GCN) have been effective at tasks that have rich relational structure and can preserve global structure information of a dataset in graph embeddings. Recently, many researchers focused on examining whether GCNs could handle different Natural Language Processing tasks, especially text classification. While applying GCNs to text classification is well-studied, its graph construction techniques, such as node/edge selection and their feature representation, and the optimal GCN learning mechanism in text classification is rather neglected. In this paper, we conduct a comprehensive analysis of the role of node and edge embeddings in a graph and its GCN learning techniques in text classification. Our analysis is the first of its kind and provides useful insights into the importance of each graph node/edge construction mechanism when applied at the GCN training/testing in different text classification benchmarks, as well as under its semi-supervised environment.

研究动机与目标

• 理解图构建——特别是节点与边设计——如何影响基于GCN的文本分类性能。
• 探究GCN层深度对捕获邻域信息以提升分类性能的影响。
• 在全语料与半监督、低资源设置下评估性能，其中标注数据稀缺。
• 在不同数据可用性与数据集规模下，识别最有效的节点特征表示方式（如one-hot与BERT）。
• 提供开源代码，以支持基于GCN的文本分类研究的可复现性与进一步探索。

提出的方法

• 使用文档与词语作为节点，构建语料级图，边基于共现关系（d2w）、词-词（w2w）和文档-文档（d2d）关系建立。
• 评估多种节点特征表示方式：one-hot编码与基于BERT的上下文嵌入。
• 系统性地将GCN层数从1层调整至5层，以评估邻域聚合深度的影响。
• 在五个标准文本分类基准数据集（20NG、R8、R52、Ohsumed、MR）上进行全语料设置下的实验。
• 将评估扩展至九个数据集，涵盖低资源语言（中文、韩语、非洲语言）的半监督、标签受限条件。
• 使用标准指标（准确率、宏F1、加权F1）并可视化不同训练比例下的性能趋势。

实验结果

研究问题

• RQ1 最优的文本图构建方法是什么——具体而言，哪些节点与边类型组合能在文本分类中实现最佳GCN性能？
• RQ2 不同节点特征表示方式（如one-hot与BERT）在具有不同类别数量与数据可用性的数据集上，如何影响GCN性能？
• RQ3 为捕获邻域信息而最优的GCN层数是多少，以避免过平滑或探索不足？
• RQ4 在标注数据极少的低资源设置下，性能如何变化？最优配置是否与全数据场景不同？
• RQ5 BERT嵌入在低资源语言中的性能是否劣于one-hot表示？

主要发现

• 使用全部三种边类型——词-文档（d2w）、词-词（w2w）与文档-文档（d2d）——在所有数据集上均实现了最高准确率，显著优于仅使用d2w的图结构。
• 仅使用d2w的图表现最差，表明仅依赖词-文档共现关系无法充分捕获全局结构信息。
• 在全部五个全语料基准数据集中，两层GCN始终表现最佳，使用更少或更多的层数均导致性能下降。
• 在低资源设置下，两层GCN整体仍为最优，尽管部分语言（如中文）在四层时出现性能回升，提示不同语言可能存在特定最优深度。
• 在低资源语言数据集（如ChSenti、Waimai、Xhosa）中，one-hot嵌入优于BERT嵌入，可能由于低资源语言的预训练质量较差。
• 小类别数据集（如R8、MR）更受益于BERT嵌入，而大类别数据集的性能提升较小，表明类别规模影响嵌入的有效性。