[论文解读] Natural Language Inference Prompts for Zero-shot Emotion Classification in Text across Corpora

Flor Miriam Plaza-del-Arco, María Teresa Martín Valdivia+1 more|arXiv (Cornell University)|Sep 14, 2022

Sentiment Analysis and Opinion Mining被引用 14

一句话总结

本文研究了在多种文本语料上使用自然语言蕴涵（NLI）模型进行零样本情感分类的提示工程。结果表明，提示的有效性高度依赖于语料，因此提出了一种包含情感名称、同义词及基于词典概念的多种提示的集成方法，从而在无需标注训练数据的情况下，实现跨数据集的稳健且接近最优的性能。

ABSTRACT

Within textual emotion classification, the set of relevant labels depends on the domain and application scenario and might not be known at the time of model development. This conflicts with the classical paradigm of supervised learning in which the labels need to be predefined. A solution to obtain a model with a flexible set of labels is to use the paradigm of zero-shot learning as a natural language inference task, which in addition adds the advantage of not needing any labeled training data. This raises the question how to prompt a natural language inference model for zero-shot learning emotion classification. Options for prompt formulations include the emotion name anger alone or the statement "This text expresses anger". With this paper, we analyze how sensitive a natural language inference-based zero-shot-learning classifier is to such changes to the prompt under consideration of the corpus: How carefully does the prompt need to be selected? We perform experiments on an established set of emotion datasets presenting different language registers according to different sources (tweets, events, blogs) with three natural language inference models and show that indeed the choice of a particular prompt formulation needs to fit to the corpus. We show that this challenge can be tackled with combinations of multiple prompts. Such ensemble is more robust across corpora than individual prompts and shows nearly the same performance as the individual best prompt for a particular corpus.

研究动机与目标

• 解决在模型开发阶段未预定义情感标签的零样本设置下的情感分类挑战。
• 探究基于NLI的零样本学习中提示设计对不同文本语料（如推文、博客、事件描述）性能的影响。
• 确定是否存在一种适用于多种语言风格的通用提示，还是提示设计必须针对语料特定化。
• 开发并评估一种集成提示策略，以在不依赖标注数据的情况下提升跨多个语料的鲁棒性和性能。
• 探究在提示中引入同义词和基于词典的概念是否能增强零样本NLI中的情感表征。

提出的方法

• 使用情感名称、同义词、定义以及情感词典（如EmoLex）中的概念来构建情感提示，以表示每种子类情感。
• 应用三种预训练的NLI模型（DeBERTa、RoBERTa、BART）通过判断前提（输入文本）与假设（提示化的情感标签）之间的蕴涵关系来分类文本。
• 训练并评估一种集成模型，通过结合多个不同提示集的预测结果，以提升在不同语料上的鲁棒性。
• 采用“最优组合”集成策略，模拟最佳提示组合，作为性能的上限基准。
• 使用宏平均精确率、召回率和F1分数在三个基准数据集（Tec，推文；Blogs，博客文章；ISEAR，事件描述）上评估性能。
• 将零样本NLI结果与在相同数据集上微调的监督RoBERTa基线模型进行比较，以建立性能基准。

实验结果

研究问题

• RQ1 提示设计的选择（如“anger”与“This text expresses anger”）如何影响不同文本语料中的零样本情感分类性能？
• RQ2 提示有效性在多大程度上依赖于目标语料的语言风格和标注风格？
• RQ3 与单一提示相比，多种提示的集成是否能提升在多样化语料上的鲁棒性和性能？
• RQ4 在提示中引入同义词或基于词典的概念是否能提升分类性能，且该效果是否因语料而异？
• RQ5 在零样本NLI情感分类中，使用包含丰富概念的广泛提示集与使用较小的、精心筛选的高质量提示集之间，存在怎样的权衡？

主要发现

• 单一提示在所有语料中均表现不佳；提示有效性高度依赖于语料，性能显著受语言风格和标注风格影响。
• 多种提示的集成在性能上几乎达到每个语料中最佳单一提示的水平，展现出对多样化数据源的优越鲁棒性。
• 在Blogs语料中，由于依赖人工标注并涉及复杂推理，基于词典的提示（如“gift”、“tears”）相比基础情感名称显著提升了性能。
• 同义词在所有语料中均一致地提升了性能，表明提示的语义多样性有助于提升模型泛化能力。
• 最优组合模型（oracle ensemble）结合了每种语料中表现最佳的提示，实现了最高F1分数（如ISEAR上达到0.80），表明多种提示提供了互补信息。
• DeBERTa模型结合提示集成（d-ensemble）在ISEAR上实现了F1=0.59，优于d-emolex模型（F1=0.40），证实了提示多样性的优势。