[论文解读] Word Affect Intensities

Saif M. Mohammad|arXiv (Cornell University)|Apr 28, 2017

Sentiment Analysis and Opinion Mining参考文献 20被引用 24

一句话总结

本文介绍了NRC情绪强度词典（AIL），这是一个通过最佳-最差标度（BWS）人工校对的实数值词-情绪强度评分词典，涵盖四种基本情绪——愤怒、恐惧、喜悦和悲伤。该方法具有高可靠性（折半信度 >0.91）和精细的区分度，能够实现对情绪强度的精确测量，适用于情感分析、自然语言生成和公共卫生监测等应用。

ABSTRACT

Words often convey affect -- emotions, feelings, and attitudes. Further, different words can convey affect to various degrees (intensities). However, existing manually created lexicons for basic emotions (such as anger and fear) indicate only coarse categories of affect association (for example, associated with anger or not associated with anger). Automatic lexicons of affect provide fine degrees of association, but they tend not to be accurate as human-created lexicons. Here, for the first time, we present a manually created affect intensity lexicon with real-valued scores of intensity for four basic emotions: anger, fear, joy, and sadness. (We will subsequently add entries for more emotions such as disgust, anticipation, trust, and surprise.) We refer to this dataset as the NRC Affect Intensity Lexicon, or AIL for short. AIL has entries for close to 6,000 English words. We used a technique called best-worst scaling (BWS) to create the lexicon. BWS improves annotation consistency and obtains reliable fine-grained scores (split-half reliability > 0.91). We also compare the entries in AIL with the entries in the NRC VAD Lexicon, which has valence, arousal, and dominance (VAD) scores for 20K English words. We find that anger, fear, and sadness words, on average, have very similar VAD scores. However, sadness words tend to have slightly lower dominance scores than fear and anger words. The Affect Intensity Lexicon has applications in automatic emotion analysis in a number of domains such as commerce, education, intelligence, and public health. AIL is also useful in the building of natural language generation systems.

研究动机与目标

• 为解决现有情绪词典中缺乏精细的、人工校对的情绪强度评分的问题，这些词典通常仅提供分类关联（例如“与愤怒相关”或“与愤怒无关”）。
• 提高在测量词语情绪关联强度时的标注一致性和可靠性，克服传统评分尺度方法的局限性。
• 创建一个可靠的实数值词典，捕捉词语所传达的情绪强度程度，包括那些通过语义联想引发情绪但不直接表示情绪的词语。
• 在社交媒体监控、公共卫生追踪和自然语言生成系统等应用中，实现更准确、更细致的情绪强度分析。
• 通过识别与特定情绪相关的音节和发音，为未来关于情绪化词语的语音和词形模式研究提供支持。

提出的方法

• 采用最佳-最差标度（BWS）收集比较性标注，标注者从4个词的组合中选出某一生理情绪强度最高和最低的词语。
• 利用BWS推导出每个词-情绪对的实数值强度评分（范围为0到1），其中1表示最高强度，0表示最低强度。
• 应用统计方法将BWS响应转化为稳定可靠的评分，利用每个4元组标注包含五个成对比较的事实。
• 通过折半信度测试确保标注质量，即使用一半标注生成评分，并与完整集进行比较。
• 通过独立标注者重复标注验证词典的一致性，获得高度相关性（Spearman rho = 0.92，Pearson r = 0.91）。
• 将AIL评分与NRC VAD词典（效价、唤醒度、支配度）的评分进行比较，分析跨词典的一致性及情绪特征的差异。

实验结果

研究问题

• RQ1 最佳-最差标度能否产生可靠且精细的情绪强度评分，其在一致性与可区分性方面是否优于传统评分尺度方法？
• RQ2 在AIL与NRC VAD词典之间比较时，与愤怒、恐惧、喜悦和悲伤相关的词语在效价和支配度特征上存在哪些差异？
• RQ3 具有反义情绪内涵的词语（如“喜悦”与“悲伤”）在自然语言中有多频繁共现，这对自动情绪检测有何影响？
• RQ4 情绪强度词典能否提升情绪强度检测任务的性能，例如在共享NLP挑战赛（如WASSA-2017、SemEval-2018）中的表现？
• RQ5 是否存在特定的音节或语音模式系统性地与特定情绪相关联，能否通过AIL识别出此类模式？

主要发现

• NRC情绪强度词典（AIL）为约6,000个英文单词在四种基本情绪上提供了实数值强度评分，评分范围从0（最低强度）到1（最高强度）。
• 最佳-最差标度实现了0.92的折半信度（Spearman等级相关）和0.91的皮尔逊相关，表明标注过程具有高度一致性和稳定性。
• 使用独立标注者重复标注得到的评分与原始评分高度相关，证实了该方法的可靠性与区分能力。
• AIL中与愤怒、恐惧和悲伤相关的词语在NRC VAD词典中表现出非常相似的平均效价和唤醒度评分，但悲伤相关词语的支配度评分显著更低。
• AIL在WASSA-2017和SemEval-2018关于推文情绪强度的共享任务中被成功应用于顶尖性能系统，验证了其在真实NLP应用中的实用性。
• 该词典为未来研究情绪化词语的语音和词形模式提供了可能，例如识别与特定情绪系统性关联的音节。