[论文解读] Putting Things in Context: Community-specific Embedding Projections for Sentiment Analysis.

Yi Yang, Jacob Eisenstein|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling被引用 17

一句话总结

本文提出了一种针对社区的词嵌入投影方法，通过建模社交网络社区间的语言差异，提升社交媒体上的情感分析性能。通过图聚类检测社区，并学习预训练嵌入的上下文感知投影，该方法在不依赖人口统计元数据的情况下，显著提升了现有方法的准确率。

ABSTRACT

Variation in language is ubiquitous, and is particularly evident in newer forms of writing such as social media. Fortunately, variation is not random, but is usually linked to social factors. By exploiting linguistic homophily --- the tendency of socially linked individuals to use language similarly --- it is possible to build models that are more robust to variation. In this paper, we focus on social network communities, which make it possible to generalize sociolinguistic properties from authors in the training set to authors in the test sets, without requiring demographic author metadata. We detect communities via standard graph clustering algorithms, and then exploit these communities by learning community-specific projections of word embeddings. These projections capture shifts in word meaning in different social groups; by modeling them, we are able to improve the overall accuracy of Twitter sentiment analysis by a significant margin over competitive prior work.

研究动机与目标

• 解决社交媒体文本中的语言差异问题，因为这会降低标准情感分析模型的性能。
• 在不依赖作者人口统计元数据的情况下，建模词语意义在不同社交网络社区间的演变。
• 通过利用社会语言同质性（即社会关联用户共享相似的语言使用习惯），提升情感分类的准确率。
• 开发一种方法，能够从训练社区中泛化语言模式至未见过的测试社区。
• 证明社区感知的嵌入投影在情感分析中优于标准词嵌入方法。

提出的方法

• 使用标准图聚类算法处理用户互动网络，检测社交网络社区。
• 为预训练词嵌入训练社区特定的线性投影，以建模上下文相关的词语含义。
• 应用这些投影以转换词嵌入，使其反映社区特定的语义变化。
• 使用投影后的嵌入微调情感分类器，从而在不同社区间实现更好的泛化能力。
• 在推理阶段使用相同的投影矩阵，根据用户所属社区动态调整其嵌入表示。
• 利用语言同质性，将训练社区中的社会语言模式无须显式人口标签地迁移到测试社区。

实验结果

研究问题

• RQ1 与标准嵌入方法相比，社区特定的嵌入投影是否能提升推特上情感分析的性能？
• RQ2 在不使用人口统计元数据的情况下，能在多大程度上捕捉社交社区间存在的语言差异？
• RQ3 该方法在泛化至训练数据中未出现的未见社区方面有多有效？
• RQ4 建模社区层面的语义变化是否能提升对多样化用户群体的鲁棒情感分类性能？
• RQ5 与当前最先进的情感分析基线方法相比，该方法的性能如何？

主要发现

• 所提出的方法在情感分析准确率方面显著优于现有竞争性方法。
• 社区特定的嵌入投影能有效捕捉不同社交群体间词语含义的变化。
• 该方法在未见社区上泛化良好，展现出对语言差异的强鲁棒性。
• 该方法优于使用标准词嵌入或非社区感知投影的模型。
• 利用图聚类检测社区，可在无需人口数据的情况下有效建模社会语言模式。
• 成功利用了语言同质性，实现在社区间迁移有意义的语义模式。