[论文解读] Text Classification: A Perspective of Deep Learning Methods

Zhongwei Wan|arXiv (Cornell University)|Sep 24, 2023

Text and Document Classification TechnologiesComputer Science被引用 3

一句话总结

本文全面综述了基于深度学习的文本分类方法，涵盖特征提取（如Word2Vec、GloVe）、降维技术（如PCA、LDA）以及SOTA模型（如LSTM、GRU、Transformer、BERT、XLNet和GPT-2）。文章强调这些模型如何通过上下文表示学习和预训练策略提升文本分类性能，确立了其在传统机器学习方法之上的主导地位。

ABSTRACT

In recent years, with the rapid development of information on the Internet, the number of complex texts and documents has increased exponentially, which requires a deeper understanding of deep learning methods in order to accurately classify texts using deep learning techniques, and thus deep learning methods have become increasingly important in text classification. Text classification is a class of tasks that automatically classifies a set of documents into multiple predefined categories based on their content and subject matter. Thus, the main goal of text classification is to enable users to extract information from textual resources and process processes such as retrieval, classification, and machine learning techniques together in order to classify different categories. Many new techniques of deep learning have already achieved excellent results in natural language processing. The success of these learning algorithms relies on their ability to understand complex models and non-linear relationships in data. However, finding the right structure, architecture, and techniques for text classification is a challenge for researchers. This paper introduces deep learning-based text classification algorithms, including important steps required for text classification tasks such as feature extraction, feature reduction, and evaluation strategies and methods. At the end of the article, different deep learning text classification methods are compared and summarized.

研究动机与目标

• 调查并分析在文本数据快速增长背景下，基于深度学习的文本分类方法。
• 探讨Word2Vec和GloVe等词嵌入技术在捕捉语义关系以提升分类性能方面的作用。
• 评估LSTM、GRU和基于Transformer的模型在文本分类任务中的有效性。
• 比较BERT、XLNet和GPT-2等预训练模型在架构、预训练目标和微调策略方面的异同。
• 总结评估指标与最佳实践，用于模型选择与文本分类性能评估。

提出的方法

• 利用Word2Vec和GloVe学习密集的分布式词向量表示，以捕捉词语的语义与句法关系。
• 应用PCA和LDA等降维技术，在保留判别性信息的同时减少特征空间维度。
• 采用循环网络（LSTM、GRU）进行文本的序列建模，借助门控机制处理长距离依赖。
• 引入Transformer架构，通过自注意力机制并行建模长距离依赖，提升效率与性能。
• 通过BERT的掩码语言模型（MLM）和下一句预测（NSP）目标实现双向预训练，实现上下文表示学习。
• 采用XLNet的基于排列的自回归训练与选择性注意力机制，比BERT更有效地建模依赖关系，避免其独立性假设。

实验结果

研究问题

• RQ1 与传统词袋模型相比，Word2Vec和GloVe等词嵌入方法在文本分类中如何提升语义表征能力？
• RQ2 在建模文本分类中的序列依赖关系时，LSTM和GRU等循环网络具有哪些优势与局限性？
• RQ3 基于Transformer的模型（如BERT和GPT-2）在文本分类任务中为何能超越以往架构？
• RQ4 XLNet的基于排列的训练策略在哪些方面克服了BERT掩码预训练目标的局限性？
• RQ5 在评估深度学习模型的文本分类性能时，哪些评估指标与策略最为有效？

主要发现

• Word2Vec和GloVe通过学习密集向量表示，显著提升了语义表征能力，能够捕捉词语相似性与上下文关系。
• PCA和LDA在降低高维文本特征方面表现有效，可提升传统机器学习流水线中的模型效率，有时还能提高准确率。
• LSTM和GRU模型通过缓解梯度消失问题并有效建模长距离依赖，性能优于简单RNN。
• Transformer架构通过多头自注意力机制实现并行训练，能够更优地建模长距离依赖，在多数任务中超越循环模型。
• BERT通过MLM和NSP目标实现双向预训练，生成强大的上下文表征，显著提升下游文本分类任务的性能。
• XLNet通过排列自回归训练与选择性注意力机制，更有效地建模依赖关系，避免BERT的独立性假设，部分基准测试中达到SOTA性能。