[论文解读] Words are not Equal: Graded Weighting Model for building Composite Document Vectors

Pranjal Kumar Singh, Amitabha Mukerjee|arXiv (Cornell University)|Dec 11, 2015

Sentiment Analysis and Opinion Mining参考文献 32被引用 11

一句话总结

本文提出了一种分级加权模型——复合文档向量（CDV），通过基于词的判别相关性（使用tf-idf及其他分级方案）为词向量分配加权分数，而非将所有词同等对待或完全丢弃停用词，从而改进文档表示。该方法在IMDB和Amazon评论数据集上达到最先进性能（准确率分别为94.19%和92.17%），并在印地语评论上实现12%的提升，证明了其在低资源和词形复杂的语言中无需分词或复杂预处理的高效性。

ABSTRACT

Despite the success of distributional semantics, composing phrases from word vectors remains an important challenge. Several methods have been tried for benchmark tasks such as sentiment classification, including word vector averaging, matrix-vector approaches based on parsing, and on-the-fly learning of paragraph vectors. Most models usually omit stop words from the composition. Instead of such an yes-no decision, we consider several graded schemes where words are weighted according to their discriminatory relevance with respect to its use in the document (e.g., idf). Some of these methods (particularly tf-idf) are seen to result in a significant improvement in performance over prior state of the art. Further, combining such approaches into an ensemble based on alternate classifiers such as the RNN model, results in an 1.6% performance improvement on the standard IMDB movie review dataset, and a 7.01% improvement on Amazon product reviews. Since these are language free models and can be obtained in an unsupervised manner, they are of interest also for under-resourced languages such as Hindi as well and many more languages. We demonstrate the language free aspects by showing a gain of 12% for two review datasets over earlier results, and also release a new larger dataset for future testing (Singh,2015).

研究动机与目标

• 解决现有文档组合模型将所有词同等对待或通过二元决策丢弃停用词的局限性，这可能导致性能下降。
• 探索分级加权方案（如tf-idf、基于余弦的权重和基于方差的过滤）在文档级表示中对词向量的应用。
• 提升低资源和词形复杂的语言（如印地语）中的情感分类性能，因为先前模型表现不佳。
• 开发一种语言无关、无监督的方法，避免分词或复杂预处理，从而扩大其在资源匮乏语言中的适用性。
• 证明通过加权词贡献增强的复合文档向量优于现有模型，包括段落向量和RNNLM。

提出的方法

• 该方法通过计算词向量的加权平均来构建文档向量，其中权重来源于tf-idf分数，以反映每个词在文档中的判别重要性。
• 提出一种复合文档向量（CDV）表示方法，通过分级加权整合词级向量语义和文档级上下文，避免二元停用词过滤。
• 将CDV与循环神经网络语言模型（RNNLM）结合形成集成模型，以同时利用统计建模和序列建模的优势。
• 应用特征方差缩减以减轻冗余高频特征带来的噪声，尤其在大规模词汇设置中。
• 该方法为无监督且语言无关，仅依赖原始文本和预训练词向量，适用于低资源语言（如印地语）。
• 在三个数据集上进行评估：IMDB（英语）、Amazon电子商品评论（英语）和IITB印地语电影评论，以准确率为首要指标。

实验结果

研究问题

• RQ1 与均匀平均或停用词移除相比，使用tf-idf等分级加权词向量是否能改善文档表示和情感分类准确率？
• RQ2 复合文档向量（CDV）模型是否在标准基准数据集上优于段落向量和RNNLM等最先进模型？
• RQ3 一种语言无关、无监督的文档组合方法在低资源、高度屈折的语言（如印地语）中能多大程度上提升性能？
• RQ4 CDV与RNNLM集成如何在性能上超越单一模型？
• RQ5 高频但判别性低的词（如停用词）带来的噪声对文档向量质量有何影响？基于方差的过滤能否缓解此问题？

主要发现

• 复合文档向量（CDV）模型在IMDB数据集上达到93.91%的准确率，超过段落向量的先前最先进水平（92.58%）。
• 在Amazon电子商品评论数据集上，CDV模型达到92.17%的准确率，显著优于此前最佳的85.90%。
• 在印地语电影评论上，CDV模型达到90.30%的准确率，较之前结果提升12%，较此前最佳方法提高10.1%。
• CDV与RNNLM的集成模型在IMDB上达到94.19%的准确率，较先前最先进水平提升1.6%。
• 该模型在低资源环境下表现出强鲁棒性：在印地语评论中12%的提升凸显了其在先前模型因缺乏语言资源而表现不佳时的有效性。
• 该方法优于平均向量和加权平均向量等模型，证实分级加权（如tf-idf）比均匀或二元过滤更有效。