[论文解读] Text Classification based on Word Subspace with Term-Frequency

Erica K. Shimomoto, Lincon S. Souza+2 more|arXiv (Cornell University)|Jun 8, 2018

Text and Document Classification Technologies被引用 3

一句话总结

本文提出了一种新颖的文本分类方法，结合词向量子空间与词频（TF）加权词向量子空间，在互分子空间方法（MSM）框架下实现。通过将word2vec向量建模为低维子空间，并利用加权主成分分析（PCA）引入词频信息，该方法在Reuters-8数据集上实现了92.01%的准确率，显著优于传统方法（如MNB和SVM），且在95%的显著性水平下具有统计显著性。

ABSTRACT

Text classification has become indispensable due to the rapid increase of text in digital form. Over the past three decades, efforts have been made to approach this task using various learning algorithms and statistical models based on bag-of-words (BOW) features. Despite its simple implementation, BOW features lack semantic meaning representation. To solve this problem, neural networks started to be employed to learn word vectors, such as the word2vec. Word2vec embeds word semantic structure into vectors, where the angle between vectors indicates the meaningful similarity between words. To measure the similarity between texts, we propose the novel concept of word subspace, which can represent the intrinsic variability of features in a set of word vectors. Through this concept, it is possible to model text from word vectors while holding semantic information. To incorporate the word frequency directly in the subspace model, we further extend the word subspace to the term-frequency (TF) weighted word subspace. Based on these new concepts, text classification can be performed under the mutual subspace method (MSM) framework. The validity of our modeling is shown through experiments on the Reuters text database, comparing the results to various state-of-art algorithms.

研究动机与目标

• 为解决词袋模型缺乏语义信息且存在高维性与稀疏性的问题。
• 通过低维子空间表示保留语义关系，利用word2vec向量对文本进行建模。
• 将词频信息直接整合到子空间模型中，以提升分类准确率。
• 在MSM框架下评估词向量子空间与TF加权词向量子空间在文本分类中的有效性。

提出的方法

• 提出词向量子空间的概念，即在高维词向量空间中的低维线性子空间，用于表示文本类别中词向量的内在可变性。
• 在不进行数据中心化的情况下应用PCA，以建模每个类别的词向量子空间，从而保留类别的主导语义结构。
• 通过在PCA过程中引入词频作为权重，将词向量子空间扩展为TF加权词向量子空间，实现频率感知的子空间建模。
• 采用互分子空间方法（MSM）进行文本分类，通过典型角比较查询文档子空间与训练类别子空间。
• 利用word2vec生成分布式向量表示，通过向量几何编码语义相似性。
• 采用一种加权PCA变体，其中词频在子空间学习过程中作为样本权重，提升表示的保真度。

实验结果

研究问题

• RQ1 能否通过word2vec向量的低维子空间表示有效建模文本分类中各类别的语义内容？
• RQ2 与标准词向量子空间相比，将词频信息整合到子空间建模过程中对分类性能有何影响？
• RQ3 所提出的TF加权词向量子空间方法是否在基准数据集上优于传统基线方法（如MNB、SVM与LSA）？
• RQ4 该基于子空间的方法在降低维度与计算成本的同时，能在多大程度上保持语义可变性？
• RQ5 与无频率感知的方法相比，TF加权子空间带来的性能提升是否具有统计显著性？

主要发现

• TF加权词向量子空间方法（TF-MSM）在Reuters-8数据集上达到92.01%的准确率，显著优于多项式朴素贝叶斯（MNB）方法。
• t检验结果表明，TF-MSM的性能在95%显著性水平下显著优于MNB，p值为0.031。
• 词向量子空间表示仅使用原始词向量空间一半的维度，即保留了大部分类别可变性，表明其具有高度紧凑性与效率。
• LSA与SVM在使用TF-IDF加权词袋特征时表现欠佳，表明当停用词被去除且稀有词代表性不足时，TF-IDF效果较差。
• 该方法通过向量夹角与子空间几何有效建模语义相似性，证明了基于上下文分组的word2vec向量可形成连贯的子空间。
• 结果表明，在分布式词表示上应用MSM的词向量子空间建模，比传统方法更具有效性。