[论文解读] PELESent: Cross-domain polarity classification using distant supervision

Edilson A. Corrêa, Vanessa Queiroz Marinho+4 more|arXiv (Cornell University)|Jul 9, 2017

Sentiment Analysis and Opinion Mining被引用 1

一句话总结

该论文提出 PELESent，一种利用表情符号和表情符号的远程监督方法，可自动构建大规模多语言葡萄牙语情感语料库，基于近一百万条推文进行训练。该方法在五个不同语料库中实现了具有竞争力的跨领域情感分类性能，展现出对领域迁移和语言差异的鲁棒性，且在某些情况下优于最先进模型，尽管训练集来自不同领域。

ABSTRACT

The enormous amount of texts published daily by Internet users has fostered the development of methods to analyze this content in several natural language processing areas, such as sentiment analysis. The main goal of this task is to classify the polarity of a message. Even though many approaches have been proposed for sentiment analysis, some of the most successful ones rely on the availability of large annotated corpus, which is an expensive and time-consuming process. In recent years, distant supervision has been used to obtain larger datasets. So, inspired by these techniques, in this paper we extend such approaches to incorporate popular graphic symbols used in electronic messages, the emojis, in order to create a large sentiment corpus for Portuguese. Trained on almost one million tweets, several models were tested in both same domain and cross-domain corpora. Our methods obtained very competitive results in five annotated corpora from mixed domains (Twitter and product reviews), which proves the domain-independent property of such approach. In addition, our results suggest that the combination of emoticons and emojis is able to properly capture the sentiment of a message.

研究动机与目标

• 为解决葡萄牙语这一低资源语言中大规模高质量标注情感语料库稀缺的问题。
• 通过利用表情符号和表情符号作为弱标签的远程监督，降低人工标注的成本与工作量。
• 评估自动生成训练数据在葡萄牙语跨领域情感分类中的有效性。
• 探究表情符号和表情符号的使用是否能增强非正式文本中的情感表征。
• 开发一种可扩展、对领域具有鲁棒性的方法，实现社交媒体与产品评论领域之间的泛化。

提出的方法

• 在推文数据上应用远程监督，利用表情符号和表情符号作为情感极性（正面、负面、中性）的弱标签。
• 基于表情符号使用所暗示的情感，自动构建约一百万条葡萄牙语推文的大规模训练语料库。
• 在该远程监督语料库上训练多种模型，包括使用词嵌入（w2v）、TF-IDF 和 Doc2Vec（d2v）的逻辑回归模型，以及深度学习模型（CNN、RCNN）。
• 混合方法结合词汇特征与学习表征，以提升在结构化、规则化文本（如产品评论）上的性能。
• 在五个手动标注的语料库上评估模型：两个来自推文（BPE-Dilma、BPE-Serra）和三个来自产品评论（Buscape-1、Buscape-2、Mercado Livre）。
• 评估指标包括 F1 分数（宏平均）、召回率（宏平均）和准确率，并与先前工作的最先进结果进行比较。

实验结果

研究问题

• RQ1 利用表情符号和表情符号进行远程监督，能否有效生成大规模、高质量的葡萄牙语情感语料库，且人工标注极少？
• RQ2 在远程监督语料库上训练的模型，在跨领域情感分类任务中的泛化能力如何？
• RQ3 在非正式、低资源文本中，是否加入表情符号和表情符号信号能提升情感分类模型的性能？
• RQ4 当在远程监督语料库上训练时，不同文本表征方法（如 TF-IDF、词嵌入、段落向量）的表现如何？
• RQ5 从社交媒体到产品评论领域的迁移过程中，模型性能是下降还是提升？

主要发现

• 尽管在不同领域进行训练，PELESent 方法在五个不同的情感分类语料库中均取得了具有竞争力的结果，F1 分数与最先进（SotA）结果相差仅 9.69% 至 12.24%。
• 在 Buscape-1 和 Buscape-2 语料库上，RCNN 和混合模型取得了最高的 F1 分数，其中 RCNN 达到 0.76542 的 F1 分数，混合模型达到 0.76681 的 F1 分数。
• 在 Mercado Livre 语料库上，RCNN 模型的 F1 分数达到 0.85612，混合模型达到 0.86141，显著优于基线方法。
• 基于表情符号的远程监督实现了有效的跨领域迁移，尤其在以词汇方法更有效的产品评论数据集上表现强劲。
• 即使在远程监督语料库上训练，深度学习模型（CNN、RCNN）也表现出具有竞争力的性能，表明大规模数据可缩小浅层模型与深层模型之间的性能差距。
• 该方法在语言差异和时间变化方面表现出韧性，如在不同语料库和领域中均保持一致的性能。