[论文解读] PO-EMO: Conceptualization, Annotation, and Modeling of Aesthetic Emotions in German and English Poetry

Thomas Haider, Steffen Eger+3 more|TUbilio (Technical University of Darmstadt)|Mar 17, 2020

Sentiment Analysis and Opinion Mining参考文献 55被引用 9

一句话总结

本文提出了 PO-EMO，一種針對德語與英語詩歌中審美情感的創新框架，專注於讀者引發的情感反應，而非作者意圖。該框架提出了一種包含10種審美情感類別的多標籤註記方案，專家間一致性達較高水準（κ = .70），並展示了使用 BERT 進行情感識別的挑戰，德語子集的 F1-micro 最高僅達 .52，為文學中審美情感分析提供了新基線。

ABSTRACT

Most approaches to emotion analysis of social media, literature, news, and other domains focus exclusively on basic emotion categories as defined by Ekman or Plutchik. However, art (such as literature) enables engagement in a broader range of more complex and subtle emotions. These have been shown to also include mixed emotional responses. We consider emotions in poetry as they are elicited in the reader, rather than what is expressed in the text or intended by the author. Thus, we conceptualize a set of aesthetic emotions that are predictive of aesthetic appreciation in the reader, and allow the annotation of multiple labels per line to capture mixed emotions within their context. We evaluate this novel setting in an annotation experiment both with carefully trained experts and via crowdsourcing. Our annotation with experts leads to an acceptable agreement of kappa = .70, resulting in a consistent dataset for future large scale analysis. Finally, we conduct first emotion classification experiments based on BERT, showing that identifying aesthetic emotions is challenging in our data, with up to .52 F1-micro on the German subset. Data and resources are available at https://github.com/tnhaider/poetry-emotion

研究动机与目标

• 發展一種全面的詩歌審美情感概念化，超越如喜悅或恐懼等基本情感。
• 建立一種多標籤註記方案，以捕捉讀者在閱讀時產生的混合情感反應，而非文本中表達的情感或作者的意圖。
• 評估專家與眾包註記在德語與英語詩歌中審美情感註記的可靠性。
• 建立高品質、一致的資料集，以供未來對文學文本中審美情感的大規模分析。
• 評估使用深度學習，特別是基於 BERT 的方法，建模審美情感的可行性。

提出的方法

• 作者根據藝術接受的心理學研究，定義了10種審美情感類別——美/喜悅、悲傷、不安、活力/能量、懸念、崇敬/崇高、幽默、煩躁，以及懷舊。
• 註記在詩歌的句子層級進行，允許每行詩分配多個情感標籤，以捕捉情境中的混合情感反應。
• 專家註記由受過訓練的註記員根據詳細指南執行，使用 Fleiss' kappa (κ = .70) 衡量註記者間一致性。
• 使用眾包方式驗證註記流程並評估可擴展性，黃金標準註記由專家共識建立。
• 針對註記的詩歌資料，微調基於 BERT 的序列分類模型，以實現多標籤情感識別。
• 資料集已公開發布於 https://github.com/tnhaider/poetry-emotion，以確保可重現性與未來研究之用。

实验结果

研究问题

• RQ1 如何定義詩歌中的審美情感，使其超越基本情感類別？
• RQ2 在詩歌文本中，能否可靠地在句子層級對多重、混合情感進行註記？
• RQ3 專家讀者在註記審美情感時能達致何種程度的一致性？
• RQ4 如 BERT 之類的先進 NLP 模型在識別詩歌中的審美情感方面有多有效？
• RQ5 多標籤註記方案能否捕捉文學文本中讀者引發情感反應的複雜性？

主要发现

• 專家註記資料集達到了 κ = .70 的較高註記者間一致性，顯示審美情感註記的可靠與一致。
• 註記流程成功捕捉了混合情感反應，如 Hölderlin、Trakl 和 Whitman 的詩中，單一詩句被賦予多個標籤。
• 基於 BERT 的情感分類模型在德語詩歌子集上達到最高 F1-micro 分數 .52，顯示即使資料品質高，此任務仍具挑戰性。
• 資料集顯示，審美情感如崇敬/崇高、懷舊與懸念經常出現，且常與悲傷或美/喜悅等其他情感共現。
• 註記指南與黃金標準資料已公開，有利於未來在審美情感識別與文學情感分析方面的研究。
• 本研究顯示，詩歌中讀者引發的情感反應極為複雜，依賴語境，且無法被傳統的基本情感模型充分捕捉。