[论文解读] TextConvoNet:A Convolutional Neural Network based Architecture for Text Classification

Sanskar Soni, Satyendra Singh Chouhan+1 more|arXiv (Cornell University)|Mar 10, 2022

Topic Modeling被引用 7

一句话总结

TextConvoNet 提出了一种二维卷积神经网络架构，通过将文本输入重新格式化为段落级嵌入矩阵，捕捉句内和句间n-gram特征，实现多尺度、二维卷积操作。它在五个基准文本分类数据集上优于最先进模型，展现出更高的准确率、F1分数以及在少样本学习场景下的鲁棒性。

ABSTRACT

In recent years, deep learning-based models have significantly improved the Natural Language Processing (NLP) tasks. Specifically, the Convolutional Neural Network (CNN), initially used for computer vision, has shown remarkable performance for text data in various NLP problems. Most of the existing CNN-based models use 1-dimensional convolving filters n-gram detectors), where each filter specialises in extracting n-grams features of a particular input word embedding. The input word embeddings, also called sentence matrix, is treated as a matrix where each row is a word vector. Thus, it allows the model to apply one-dimensional convolution and only extract n-gram based features from a sentence matrix. These features can be termed as intra-sentence n-gram features. To the extent of our knowledge, all the existing CNN models are based on the aforementioned concept. In this paper, we present a CNN-based architecture TextConvoNet that not only extracts the intra-sentence n-gram features but also captures the inter-sentence n-gram features in input text data. It uses an alternative approach for input matrix representation and applies a two-dimensional multi-scale convolutional operation on the input. To evaluate the performance of TextConvoNet, we perform an experimental study on five text classification datasets. The results are evaluated by using various performance metrics. The experimental results show that the presented TextConvoNet outperforms state-of-the-art machine learning and deep learning models for text classification purposes.

研究动机与目标

• 为解决现有1D-CNN模型仅能从词嵌入中提取句内n-gram特征的局限性。
• 探究多维卷积是否能捕捉文本数据中的句间关系，以提升分类性能。
• 设计一种新型输入表示方法，使文本序列能够支持二维卷积操作。
• 在二分类与多分类文本分类基准上评估TextConvoNet的性能。
• 在训练数据有限的少样本学习设置中，展示其泛化能力。

提出的方法

• 将输入文本表示为段落级嵌入矩阵，其中每一行代表一个词向量，每一列对应一个句子，从而支持二维卷积。
• 在矩阵上应用多尺度二维卷积滤波器，以提取句内与句间n-gram特征。
• 使用二维最大池化操作降低空间维度并保留显著特征。
• 将多个滤波器的特征图拼接后输入全连接分类层。
• 采用多种变体（TextConvoNet_4、TextConvoNet_6），通过不同滤波器尺寸与池化策略优化性能。
• 开展消融研究，评估输入表示与二维卷积对模型准确率的影响。

实验结果

研究问题

• RQ1 2D卷积架构是否能有效捕捉句间n-gram特征，同时保留句内特征？
• RQ2 与标准1D-CNN相比，将输入重新格式化为2D段落级嵌入矩阵是否能提升文本分类性能？
• RQ3 在低数据环境下，TextConvoNet在少样本学习场景中的表现如何？
• RQ4 该架构中2D卷积层的最优滤波器尺寸与池化策略为何？
• RQ5 在多样化文本分类基准上，TextConvoNet与最先进模型相比表现如何？

主要发现

• 在数据集-2上，TextConvoNet实现了最高准确率（0.901）与F1分数（0.883），优于所有基线模型。
• 在多分类数据集（数据集-4）上，TextConvoNet_6在少样本设置中达到准确率0.829与F1分数0.573，且测试误差率最低。
• 模型在少样本学习中展现出卓越泛化能力，即使仅使用10%训练数据，也能保持低测试误差率。
• 消融研究证实，2D卷积操作与段落级输入表示显著优于1D-CNN基线模型。
• TextConvoNet_6在所有指标上均持续优于TextConvoNet_4，表明更大的滤波器尺寸可增强特征提取能力。
• 在数据集-2上，使用m尺寸滤波器的模型实现了G-mean2得分为0.896，表明其在所有类别上均表现出色的平衡性能。