[论文解读] Overcoming Language Variation in Sentiment Analysis with Social Attention

Yi Yang, Jacob Eisenstein|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 70被引用 15

一句话总结

本文提出 Social Attention，一种神经网络模型，通过注意力机制根据作者在社交网络中的位置，基于语言同质性（即社会关联用户使用相似语言）加权多个基础模型，从而提升情感分析性能。该方法在基线模型上实现了2–3%的准确率提升，并在无需个体用户标注数据的情况下，优于SemEval Twitter基准测试的先前工作。

ABSTRACT

Variation in language is ubiquitous, particularly in newer forms of writing such as social media. Fortunately, variation is not random, it is often linked to social properties of the author. In this paper, we show how to exploit social networks to make sentiment analysis more robust to social language variation. The key idea is linguistic homophily: the tendency of socially linked individuals to use language in similar ways. We formalize this idea in a novel attention-based neural network architecture, in which attention is divided among several basis models, depending on the author's position in the social network. This has the effect of smoothing the classification function across the social network, and makes it possible to induce personalized classifiers even for authors for whom there is no labeled data or demographic metadata. This model significantly improves the accuracies of sentiment analysis on Twitter and on review data.

研究动机与目标

• 为解决情感分析中的语言差异问题，特别是社交媒体中词语含义在不同社交群体间的变化。
• 克服基于人口统计特征的模型和个性化系统对每个用户标注数据的依赖。
• 利用社交网络结构作为语言相似性的代理，即使在标注数据稀疏或缺失的情况下，也能实现稳健的情感分类。
• 开发一种方法，通过在社交网络上平滑分类函数，实现在多样化语言群体中的泛化能力。

提出的方法

• 该模型使用社交注意力机制，动态组合来自多个基础模型的输出，每个基础模型专注于社交网络的不同局部区域。
• 通过网络嵌入技术（如 node2vec）学习作者嵌入，以表示每个用户在社交图中的位置。
• 基于作者与各基础模型之间的社交接近度计算注意力权重，实现针对每个用户的个性化注意力。
• 最终预测结果为各基础模型输出的加权和，权重由作者的网络位置及其与各基础模型的相似度决定。
• 模型通过交叉熵损失端到端训练，注意力参数与基础模型参数联合优化。
• 将社交网络结构作为归纳偏置，用于正则化模型，提升在语言差异下的泛化能力。

实验结果

研究问题

• RQ1 在存在语言差异的情况下，能否利用社交网络结构提升情感分类性能？
• RQ2 语言同质性（即社会关联用户使用相似语言）是否能提升情感分析中的泛化能力？
• RQ3 在低资源情感分类任务中，基于社交网络区域的注意力神经模型是否能优于标准深度学习和集成模型？
• RQ4 当缺乏个体作者的标注数据时，社交网络信息在多大程度上能提升模型性能？
• RQ5 该模型能否在不依赖人口统计元数据或远程监督的情况下，实现对多样化语言群体的泛化？

主要发现

• 当引入社交网络信息时，Social Attention 在相关神经网络和集成模型上实现了2–3%的准确率提升。
• 该模型在 SemEval Twitter 2013、2014 和 2015 测试集上均优于所有先前发表的结果。
• 消融实验确认，社交网络信息是性能提升的关键因素，而不仅仅是模型架构的贡献。
• 即使对于无标注数据的作者，该模型也能通过利用社交邻近性实现有效的个性化，实现知识迁移。
• 该方法在不同语言群体间具有泛化能力，能够捕捉到如 'sick' 在不同社交群体中具有双重情感极性的细微语义变化。
• 注意力机制有效平滑了社交网络上的分类函数，提升了对语言差异的鲁棒性。