[论文解读] Sentiment Analysis at SEPLN (TASS)-2019: Sentiment Analysis at Tweet level using Deep Learning

Avishek Garain, Sainik Kumar Mahata|arXiv (Cornell University)|Aug 1, 2019

Hate Speech and Cyberbullying Detection参考文献 5被引用 8

一句话总结

该论文提出了一种基于双向LSTM的深度学习模型，用于跨多种拉丁美洲方言的多语言西班牙语推文情感分析，结合了先进的预处理、人工情感特征和正则化技术，实现了最先进性能。该系统在TASS-2019共享任务中排名第一，尽管存在类别不平衡，仍表现出对短文本、非正式文本和多语言推文的强鲁棒性，准确率和F1分数均较高。

ABSTRACT

This paper describes the system submitted to "Sentiment Analysis at SEPLN (TASS)-2019" shared task. The task includes sentiment analysis of Spanish tweets, where the tweets are in different dialects spoken in Spain, Peru, Costa Rica, Uruguay and Mexico. The tweets are short (up to 240 characters) and the language is informal, i.e., it contains misspellings, emojis, onomatopeias etc. Sentiment analysis includes classification of the tweets into 4 classes, viz., Positive, Negative, Neutral and None. For preparing the proposed system, we use Deep Learning networks like LSTMs.

研究动机与目标

• 开发一个针对来自西班牙、墨西哥、秘鲁、哥斯达黎加和乌拉圭等多种西班牙语方言的短文本、非正式西班牙语推文的情感分析系统。
• 解决推文级情感分类中的挑战，如拼写错误、表情符号、拟声词以及上下文缺失问题。
• 通过类别加权和正则化技术提升模型在类别不平衡数据集上的泛化能力。
• 在单语和跨语言情感分类子任务中均实现高性能表现。

提出的方法

• 通过正则表达式移除提及、URL和多余空格，并从驼峰式话题标签中提取单词，对推文进行预处理。
• 将处理后的推文转换为独热向量，并与人工设计的特征结合：情感词数量（西班牙语和英语）、主观性得分以及标点符号计数。
• 利用SenticNet5和GoogleTrans API提取单个词语的情感得分，以增强特征表示。
• 采用深度神经网络，包含一个128维的嵌入层，随后是批量归一化和一个具有128个单元、0.4 dropout率的双向LSTM。
• 应用一个CuDNNLSTM层（64个单元）以实现GPU优化训练，随后是一个使用Glorot均匀初始化并应用权重和偏置L2正则化的正则化全连接层。
• 使用Adam优化器（初始初始学习率0.0005）和分类交叉熵损失编译模型，并基于验证损失应用早停策略。

实验结果

研究问题

• RQ1 基于注意力机制和正则化的BiLSTM架构在分类短文本、非正式、多语言西班牙语推文情感方面效果如何？
• RQ2 话题标签单词提取在低资源、方言密集的推文情感分析中能在多大程度上提升性能？
• RQ3 类别加权和L2正则化是否能有效缓解在类别不平衡的推文情感数据集上的过拟合问题？
• RQ4 该模型在单语和跨语言设置下，对不同西班牙语方言的泛化能力如何？

主要发现

• 该系统在TASS-2019共享任务中表现最佳，两个子任务均位列所有参赛者第一。
• 使用话题标签预处理时，开发集准确率为51.98%，而未使用时为48.86%，证明了该步骤的重要价值。
• 墨西哥推文（MX）的F1得分最高，达到0.384，表明尽管存在数据不平衡，模型在该方言上表现强劲。
• 模型在哥斯达黎加（CR）推文上的F1得分为0.250，西班牙（ES）为0.261，秘鲁（PE）为0.263，乌拉圭（UY）为0.218，显示出在不同方言上表现一致但存在差异。
• 类别加权和L2正则化显著提升了模型泛化能力，有效减少了对多数类别的过拟合。
• 人工提取的情感特征和主观性得分有助于提升模型在不同情感类别间的判别能力。