[论文解读] Vector of Locally-Aggregated Word Embeddings (VLAWE): A Novel Document-level Representation

Radu Tudor Ionescu, Andrei M. Butnaru|arXiv (Cornell University)|Feb 23, 2019

Text and Document Classification Technologies被引用 8

一句话总结

本文提出了一种名为局部聚合词嵌入向量（VLAWE）的新颖无监督文档级表征方法，灵感源自计算机视觉中的VLAD。通过k-means聚类词嵌入，然后计算每个词嵌入与其最近聚类中心之间的残差，从而生成文档表征，在电影评论数据集上实现了93.3%的准确率，较之前最先进方法高出10个百分点。

ABSTRACT

In this paper, we propose a novel representation for text documents based on aggregating word embedding vectors into document embeddings. Our approach is inspired by the Vector of Locally-Aggregated Descriptors used for image representation, and it works as follows. First, the word embeddings gathered from a collection of documents are clustered by k-means in order to learn a codebook of semnatically-related word embeddings. Each word embedding is then associated to its nearest cluster centroid (codeword). The Vector of Locally-Aggregated Word Embeddings (VLAWE) representation of a document is then computed by accumulating the differences between each codeword vector and each word vector (from the document) associated to the respective codeword. We plug the VLAWE representation, which is learned in an unsupervised manner, into a classifier and show that it is useful for a diverse set of text classification tasks. We compare our approach with a broad range of recent state-of-the-art methods, demonstrating the effectiveness of our approach. Furthermore, we obtain a considerable improvement on the Movie Review data set, reporting an accuracy of 93.3%, which represents an absolute gain of 10% over the state-of-the-art approach. Our code is available at https://github.com/raduionescu/vlawe-boswe/.

研究动机与目标

• 开发一种稳健的无监督文档级表征方法，以超越词嵌入的平均/求和池化方法在文本分类任务中的表现。
• 将计算机视觉中的VLAD框架适配至自然语言处理领域，以实现对词嵌入更优的语义聚合。
• 通过最近邻聚类分配机制，实现对未登录词的处理，从而缓解训练与测试数据之间词汇分布差异的问题。
• 在多样化的文本分类基准上展示最先进性能，特别是在低资源或领域迁移设置下。

提出的方法

• 在大规模语料上预训练词嵌入（如GloVe），并将其用作聚类的输入。
• 对词嵌入向量应用k-means聚类，以学习一组语义相关的词嵌入中心点（即码书）。
• 对于每个文档，将每个词嵌入分配给其最近的聚类中心（码字），形成词-码字关联集合。
• 通过计算每个码字与其在文档中所有分配到该码字的词嵌入之间的残差（差值）之和，构建VLAWE表征。
• 将所得高维向量直接作为分类器（如SVM）的输入，无需微调。
• 在推理阶段通过将未见词分配给最近的码字，实现对未登录词的鲁棒性处理。

实验结果

研究问题

• RQ1 计算机视觉中的VLAD框架能否有效适配至自然语言处理任务，以从词嵌入中学习文档级表征？
• RQ2 通过聚类残差（即VLAWE）聚合词嵌入是否在文本分类任务中优于简单的平均或求和方法？
• RQ3 与传统的词袋模型或嵌入平均方法相比，VLAWE如何处理未登录词？
• RQ4 VLAWE能否在多样化的文本分类基准上实现最先进性能，包括低资源或领域分布偏移的设置？
• RQ5 超参数（如聚类数k）对VLAWE性能与鲁棒性有何影响？

主要发现

• 在电影评论数据集上，VLAWE实现了93.3%的准确率，较之前最先进方法高出10个百分点的绝对提升。
• 在RT-2k数据集上，VLAWE达到94.1%的准确率，超越了文献中所有先前报告的结果。
• 在Subj数据集上，VLAWE达到95.0%的准确率，在所有测试方法中排名第二，仅比最佳方法低1%。
• 在TREC数据集上，VLAWE取得第三高准确率，与最先进结果96.1%相差2%。
• VLAWE的紧凑版本——使用k=2或主成分分析（PCA）降低维度——分别实现了93.0%和93.2%的准确率，表明性能下降极小，同时显著减小了特征尺寸。
• 在全部五个基准数据集上，VLAWE始终优于平均词嵌入基线和标准词袋基线，在大多数情况下性能提升超过5%。