[论文解读] RETUYT in TASS 2017: Sentiment Analysis for Spanish Tweets using SVM and CNN

Aiala Rosá, Luis Chiruzzo+2 more|arXiv (Cornell University)|Oct 17, 2017

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

该论文提出了一种用于西班牙语推文的混合情感分析系统，结合了使用手工特征的SVM与使用词嵌入的CNN，其在TASS 2017共享任务中表现出色。两种方法的结合在多个评估集上均取得了改进结果，证明了将传统机器学习与深度学习相结合在低资源语言情感分析中的有效性。

ABSTRACT

This article presents classifiers based on SVM and Convolutional Neural Networks (CNN) for the TASS 2017 challenge on tweets sentiment analysis. The classifier with the best performance in general uses a combination of SVM and CNN. The use of word embeddings was particularly useful for improving the classifiers performance.

研究动机与目标

• 为解决西班牙语推文中文本情感分析在低资源场景下的挑战，现有方法表现有限。
• 探索将传统机器学习（SVM）与深度学习（CNN）结合用于社交媒体情感分类的有效性。
• 评估词嵌入与词汇资源对西班牙语情感分类准确率的影响。
• 开发一个能够处理西班牙语推文非正式、噪声大且主观性强等特性的鲁棒系统。

提出的方法

• 该系统采用两种独立方法：使用手工特征（包括词嵌入、主观性词典和n-gram特征）训练的支撑向量机（SVM）分类器。
• 卷积神经网络（CNN）使用预训练的词嵌入作为输入，直接处理原始推文序列。
• SVM模型整合了主观性词典匹配、否定处理和n-gram模式等特征，以捕捉句法与语义线索。
• CNN模型处理固定长度的词嵌入序列，利用卷积层提取局部特征，并通过池化操作降低维度。
• 通过结合SVM与CNN模型的预测概率输出，采用混合集成方法，以提升整体分类性能。
• 词嵌入由大规模新闻语料库使用word2vec训练得到，并与GloVe和fastText进行对比，最终选择性能更优的word2vec。

实验结果

研究问题

• RQ1 结合SVM与手工特征及CNN与词嵌入的混合方法在西班牙语推文情感分类中的有效性如何？
• RQ2 预训练词嵌入在低资源社交媒体文本上对情感分类性能的提升程度如何？
• RQ3 词汇资源与神经网络模型的结合是否能超越单一模型在西班牙语推文情感分析中的表现？
• RQ4 不同类型的词嵌入（word2vec、GloVe、fastText）在西班牙语情感分类中的性能表现如何比较？

主要发现

• 基于SVM的系统通过使用手工特征（包括主观性词典和n-gram模式）取得了具有竞争力的性能，证明了语言先验知识的价值。
• 使用word2vec词嵌入训练的CNN模型表现出色，表明深度学习模型能够有效捕捉嘈杂推文文本中的情感相关模式。
• 通过概率融合方式结合SVM与CNN输出的混合模型在所有评估集上均取得最佳结果，优于单一模型。
• 使用包含屈折形式的交集式主观性词典相比原始词干，提升了覆盖度与性能。
• GloVe词嵌入表现逊于word2vec，可能由于在西班牙语领域中词汇覆盖度较低。
• 最终系统在TASS 2017共享任务中达到最先进水平，证实了将传统方法与深度学习技术结合在西班牙语情感分析中的有效性。