[论文解读] x-enVENT: A Corpus of Event Descriptions with Experiencer-specific Emotion and Appraisal Annotations

Enrica Troiano, Laura Oberländer+2 more|arXiv (Cornell University)|Mar 21, 2022

Sentiment Analysis and Opinion Mining被引用 7

一句话总结

本文介绍了 x-enVent，一个包含 720 份自述事件描述的多语言英语语料库，这些描述被标注了体验者特定的情绪和评价维度（如责任、愉悦度）。该研究通过将情绪分类、角色标注与评价理论相结合，为每个体验者关联其情绪和事件评价，揭示了不同参与者之间情绪与评价存在显著差异，从而在多主体情境下实现了更细致的情绪分析。

ABSTRACT

Emotion classification is often formulated as the task to categorize texts into a predefined set of emotion classes. So far, this task has been the recognition of the emotion of writers and readers, as well as that of entities mentioned in the text. We argue that a classification setup for emotion analysis should be performed in an integrated manner, including the different semantic roles that participate in an emotion episode. Based on appraisal theories in psychology, which treat emotions as reactions to events, we compile an English corpus of written event descriptions. The descriptions depict emotion-eliciting circumstances, and they contain mentions of people who responded emotionally. We annotate all experiencers, including the original author, with the emotions they likely felt. In addition, we link them to the event they found salient (which can be different for different experiencers in a text) by annotating event properties, or appraisals (e.g., the perceived event undesirability, the uncertainty of its outcome). Our analysis reveals patterns in the co-occurrence of people's emotions in interaction. Hence, this richly-annotated resource provides useful data to study emotions and event evaluations from the perspective of different roles, and it enables the development of experiencer-specific emotion and appraisal classification systems.

研究动机与目标

• 为解决现有情绪分析系统将情绪分类视为单一任务、而未考虑不同语义角色的局限性。
• 构建一个丰富标注的语料库，不仅捕捉作者的情绪，也捕捉文本中其他体验者（如事件中的第三方）的情绪。
• 通过为每个体验者-事件对标注认知评价（如责任、愉悦度）来将评价理论整合到基于文本的情绪分析中。
• 支持开发反映情绪事件多主体性质的体验者特定情绪与评价分类模型。
• 研究单个事件描述中多位参与者之间情绪与评价的相互作用模式。

提出的方法

• 从亲身经历与他人相关真实事件产生情绪反应的个体中收集 720 份自述事件描述。
• 对每段文本进行跨度级标注，包括事件（刺激源）、体验者（情绪主体）和情绪（离散标签，如内疚、悲伤、愤怒）。
• 应用评价理论，为每个体验者-事件对标注表示评价维度（如愉悦度、责任、不确定性）的数值向量。
• 建立每个体验者与其所反应事件之间的关系，形成结构化元组：⟨事件, 体验者, 情绪, 评价向量⟩。
• 使用标注者间一致性度量（如 Fleiss’ kappa）确保专家间标注质量与一致性。
• 进行统计与相关性分析（如 Spearman’s rho），比较不同体验者之间的情绪共现与评价相似性。

实验结果

研究问题

• RQ1 在相同事件描述中，不同体验者的情绪如何变化？其共现模式有何特征？
• RQ2 在多人参与的情绪事件中，作者与其他体验者之间的评价维度（如责任、愉悦度）相关程度如何？
• RQ3 与以作者为中心的方法相比，体验者特定的情绪与评价标注能否提升情绪分类模型的性能？
• RQ4 在不同角色中，哪些情绪组合最为常见（如作者的内疚与同事的悲伤）？
• RQ5 作者与其他体验者之间的评价特征有何差异？这些差异揭示了何种情绪视角转换机制？

主要发现

• 喜悦情绪在体验者之间频繁共享，共现率较高（例如，内疚与悲伤的共现率为 0.32），表明在某些情境下存在共同的情绪反应。
• 作者的情绪（如内疚与喜悦）常伴随第三方的其他情绪出现，其中内疚在 20% 的情况下与愤怒共现，在 32% 的情况下与悲伤共现。
• 作者的羞耻感与他人体验者的情绪愤怒存在强关联（共现率为 20%），表明人际事件中可能存在情绪升级现象。
• 不同体验者之间的评价维度表现出显著相关性：内部检查 vs. 外部检查（ρ = 0.68），以及期望差异 vs. 外部检查（ρ = 0.45）。
• 评价维度之间存在负相关关系，如内部检查与愉悦度（ρ = -0.31），以及结果可能性与紧迫性（ρ = -0.28），表明认知评价存在分歧。
• 作者的非情绪性反应在其他体验者的情绪中分布不均，表明相同事件不会对所有体验者引发对称的情绪反应。