[论文解读] N-gram-Based Low-Dimensional Representation for Document Classification

Rémi Lebret, Ronan Collobert|arXiv (Cornell University)|Dec 19, 2014

Topic Modeling被引用 4

一句话总结

本文提出了一种基于语义概念的词袋模型，通过平均n-gram的词向量表示，生成低维且语义丰富的文档表示。通过使用K均值聚类对这些n-gram向量进行处理，该方法将特征数量减少了高达344倍，同时在情感分类任务中优于LSA和LDA，并以远少于BOW的特征数量达到相当的性能。

ABSTRACT

The bag-of-words (BOW) model is the common approach for classifying documents, where words are used as feature for training a classifier. This generally involves a huge number of features. Some techniques, such as Latent Semantic Analysis (LSA) or Latent Dirichlet Allocation (LDA), have been designed to summarize documents in a lower dimension with the least semantic information loss. Some semantic information is nevertheless always lost, since only words are considered. Instead, we aim at using information coming from n-grams to overcome this limitation, while remaining in a low-dimension space. Many approaches, such as the Skip-gram model, provide good word vector representations very quickly. We propose to average these representations to obtain representations of n-grams. All n-grams are thus embedded in a same semantic space. A K-means clustering can then group them into semantic concepts. The number of features is therefore dramatically reduced and documents can be represented as bag of semantic concepts. We show that this model outperforms LSA and LDA on a sentiment classification task, and yields similar results than a traditional BOW-model with far less features.

研究动机与目标

• 解决传统词袋（BOW）模型在文档分类中高维特征空间和语义表达能力有限的问题。
• 通过融合n-gram语义信息，在保持低维表示的同时克服LSA和LDA的局限性。
• 开发一种计算高效、可扩展的文档表示方法，支持未见n-gram的处理。
• 通过从n-gram中提取的低维语义概念，提升情感分类性能。

提出的方法

• 使用预训练的词向量（如Skip-gram）将单个词表示为密集向量空间中的向量。
• 通过组成每个n-gram的词向量的逐元素平均，生成n-gram表示。
• 对所有n-gram向量应用K均值聚类，将其分组为K个语义概念，形成低维语义空间。
• 文档被表示为这K个语义概念的词袋，其中每个特征表示某一群集内n-gram的存在/缺失。
• 该模型利用词向量的组合特性，通过平均未见n-gram中组成词向量并将其分配给最近的聚类中心，实现对未见n-gram的推理。
• 整个流程高度可并行化，可在标准CPU硬件上实现快速计算。

实验结果

研究问题

• RQ1 与传统的BOW、LSA和LDA模型相比，基于n-gram的表示是否能提升文档分类性能？
• RQ2 从n-gram中提取的低维语义概念是否能在显著减少特征数量的前提下，保持或超越高维BOW模型的性能？
• RQ3 在大规模场景下，基于n-gram的语义表示能否高效计算？
• RQ4 该模型是否能泛化到训练数据中未出现的未见n-gram？

主要发现

• 在Maas等人提出的情感分类数据集上，该模型达到了88.58%的准确率，仅使用约678倍更少的特征，性能与BOW相当。
• 在IMDB数据集上，该模型以约344倍更少的特征达到88.58%的准确率，优于LSA和LDA。
• 在单个CPU核心上，完整模型（1+2+3-grams，K=300）的计算时间约为2,360秒（约39分钟），显著快于LDA（100个主题需6小时），且与LSA（300维，540秒）性能相当。
• 该模型通过平均未见n-gram的词向量并将其投影到最近的聚类中心，成功为未见n-gram分配语义概念，实现了稳健的泛化能力。
• 对n-gram向量进行K均值聚类捕捉到了有意义的语义关系，例如‘not good’和‘good’等反义短语被分入不同但语义连贯的聚类中。
• 该方法在二元情感分类任务中表现出色，表明n-gram级别的语义信息可以在低维空间中被有效捕捉并加以利用。