[论文解读] VGCN-BERT: Augmenting BERT with Graph Embedding for Text Classification

Zhibin Lu, Pan Du+1 more|arXiv (Cornell University)|Apr 12, 2020

Topic Modeling参考文献 30被引用 11

一句话总结

该论文提出 VGCN-BERT，一种混合模型，将词汇图上的图卷积网络（GCN）与 BERT 相结合，通过联合建模局部上下文信息（通过 BERT 的自注意力机制）和全局词汇关系（通过 GCN 嵌入表示），以增强文本分类。该方法通过多层注意力机制实现词级别与图级别表示之间的动态交互，在五个文本分类数据集上实现了最先进性能。

ABSTRACT

Much progress has been made recently on text classification with methods based on neural networks. In particular, models using attention mechanism such as BERT have shown to have the capability of capturing the contextual information within a sentence or document. However, their ability of capturing the global information about the vocabulary of a language is more limited. This latter is the strength of Graph Convolutional Networks (GCN). In this paper, we propose VGCN-BERT model which combines the capability of BERT with a Vocabulary Graph Convolutional Network (VGCN). Local information and global information interact through different layers of BERT, allowing them to influence mutually and to build together a final representation for classification. In our experiments on several text classification datasets, our approach outperforms BERT and GCN alone, and achieve higher effectiveness than that reported in previous studies.

研究动机与目标

• 解决 BERT 在捕捉句子级别上下文之外的全局词汇关系方面的局限性。
• 克服标准 GCN 无法建模文本中局部句法和序列依赖关系的缺陷。
• 在统一的深度学习框架中整合全局词汇结构与局部上下文表示。
• 通过自注意力机制实现在局部（BERT）与全局（VGCN）表示之间的双向交互。
• 通过在联合表示空间中联合利用局部上下文与全局词汇语义，提升文本分类性能。

提出的方法

• 利用大规模语料中词语共现的点互信息（PMI）构建词汇图，以捕捉语义关系。
• 在词汇图上训练图卷积网络（GCN），生成编码全局词汇结构的图嵌入表示。
• 将 BERT 的词嵌入与 VGCN 的图嵌入拼接，作为 BERT 编码器的输入。
• 通过 BERT 中的多头自注意力层实现词嵌入与图嵌入之间的交互，实现对两种模态的动态注意力关注。
• 使用 BERT 最后一层的 [CLS] 标记表示进行下游文本分类任务。
• 应用可学习的注意力机制，使模型在推理过程中能够动态关注词标记和图嵌入维度。

实验结果

研究问题

• RQ1 通过 GCN 集成全局词汇结构是否能提升 BERT 在文本分类任务上的表现？
• RQ2 局部（BERT）与全局（VGCN）表示之间的交互是否优于单独使用或拼接融合的方式？
• RQ3 图嵌入能否帮助 BERT 解决依赖于领域特定词汇知识的模糊或隐含情感表达？
• RQ4 在存在隐含情感的情况下，BERT 中的注意力机制如何在词标记与图嵌入维度之间分配注意力？
• RQ5 当图嵌入被动态关注而非以固定、非交互方式使用时，模型性能是否得到提升？

主要发现

• VGCN-BERT 在全部五个基准数据集上均取得了最高的 F1 分数，优于 BERT 和 GCN 单独使用的效果。
• 在 IMDB 电影评论数据集上，VGCN-BERT 的 F1 分数达到 91.93，高于 Vanilla-VGCN-BERT 和 BERT 的 91.38，证明了交互机制的优势。
• 在仇恨言论检测任务中，VGCN-BERT 的 F1 分数提升至 81.26，显著优于 BERT 的 80.59 和 GCN 的 66.61。
• 可视化结果表明，VGCN-BERT 学会关注与关键语义概念（如 'innovation'）相关的图嵌入维度，这些维度对正确的情感分类至关重要。
• 在深层 BERT 层形成高层表示之后，VGCN-BERT 的注意力机制才会动态地将高注意力分配给与隐含情感（如 'innovation'）相关的图嵌入维度。
• 相比之下，Vanilla-VGCN-BERT（在无交互情况下拼接嵌入）未能关注图嵌入，证实交互机制对于有效融合至关重要。