[论文解读] Text Classification of COVID-19 Press Briefings using BERT and Convolutional Neural Networks.

Kakia Chatsiou|arXiv (Cornell University)|Oct 20, 2020

Computational and Text Analysis Methods被引用 7

一句话总结

本文提出了一种微调后的 BERT-CNN 模型，利用预训练嵌入和人工标注的政治宣言作为训练数据，自动分类新冠疫情新闻发布会中的政治话语。结果表明，基于 BERT 的 CNN 模型优于其他嵌入方法（Word2Vec、GloVe、ELMo），并能实现零样本迁移学习，无需微调即可对新文本中的政治内容进行分类。

ABSTRACT

We build a sentence-level political discourse classifier using existing human expert annotated corpora of political manifestos from the Manifestos Project (Volkens et al.,2020a) and applying them to a corpus ofCOVID-19Press Briefings (Chatsiou,2020). We use manually annotated political manifestos as training data to train a local topic ConvolutionalNeural Network (CNN) classifier; then apply it to the COVID-19PressBriefings Corpus to automatically classify sentences in the test corpus.We report on a series of experiments with CNN trained on top of pre-trained embeddings for sentence-level classification tasks. We show thatCNN combined with transformers like BERT outperforms CNN combined with other embeddings (Word2Vec, Glove, ELMo) and that it is possible to use a pre-trained classifier to conduct automatic classification on different political texts without additional training.

研究动机与目标

• 开发一种用于公共卫生传播中句子级别政治话语分类的自动化方法。
• 评估预训练嵌入（尤其是 BERT）与卷积神经网络结合在政治文本分类中的有效性。
• 探究在政治宣言上训练的分类器是否可在无需额外微调的情况下，应用于新冠疫情新闻发布会中文本的政治内容分类。
• 比较 BERT-CNN 与其他嵌入方法（Word2Vec、GloVe、ELMo）在相同分类任务上的性能表现。

提出的方法

• 在 Manifestos Project（Volkens 等，2020a）提供的手工标注政治宣言上微调本地主题卷积神经网络（CNN）。
• 将预训练的 BERT 嵌入作为输入特征输入 CNN，替代传统的词嵌入。
• 直接将训练好的 BERT-CNN 分类器应用于新冠疫情新闻发布会语料库（Chatsiou，2020）进行零样本推理。
• 对比多种嵌入类型（BERT、Word2Vec、GloVe、ELMo）的分类性能。
• 在政治宣言的句子级别政治话语标签上训练 CNN，并在新闻发布会语料的测试集上进行评估。
• 利用迁移学习对新政治文本进行分类，而无需在新数据上重新训练模型。

实验结果

研究问题

• RQ1 在政治宣言上训练的 BERT-CNN 模型能否有效分类新冠疫情新闻发布会中的政治话语？
• RQ2 在句子级别政治分类任务中，基于 BERT 的特征表示相较于 Word2Vec、GloVe 和 ELMo 表现如何？
• RQ3 预训练分类器在无需额外微调的情况下，能在多大程度上应用于新政治文本领域？
• RQ4 CNN 与预训练 Transformer 嵌入的结合是否能提供优于其他嵌入-CNN 组合的分类准确率？

主要发现

• 使用 BERT-CNN 模型在句子级别政治话语分类任务中显著优于使用 Word2Vec、GloVe 和 ELMo 嵌入的 CNN 模型。
• 该模型仅使用预训练嵌入且未在新领域进行额外微调，即在新冠疫情新闻发布会语料库上取得了优异性能。
• 从政治宣言到新闻发布会的迁移学习是有效的，实现了无需在新数据上重新训练即可自动分类。
• BERT 与 CNN 的结合为跨多种政治文本类型的政治话语分类提供了稳健的解决方案。