[论文解读] Stance Reasoner: Zero-Shot Stance Detection on Social Media with Explicit Reasoning

Maksym Taranukhin, Vered Shwartz+1 more|arXiv (Cornell University)|Mar 22, 2024

Sentiment Analysis and Opinion Mining被引用 4

一句话总结

Stance Reasoner 提出了一种用于社交媒体的零样本立场检测框架，通过利用预训练语言模型进行上下文学习的思维链（chain-of-thought），在背景知识上生成显式、可解释的推理。该方法在三个 Twitter 数据集上优于最先进模型，包括完全监督的方法，同时通过透明、基于知识的推理步骤实现了对未见目标的更好泛化能力。

ABSTRACT

Social media platforms are rich sources of opinionated content. Stance detection allows the automatic extraction of users' opinions on various topics from such content. We focus on zero-shot stance detection, where the model's success relies on (a) having knowledge about the target topic; and (b) learning general reasoning strategies that can be employed for new topics. We present Stance Reasoner, an approach to zero-shot stance detection on social media that leverages explicit reasoning over background knowledge to guide the model's inference about the document's stance on a target. Specifically, our method uses a pre-trained language model as a source of world knowledge, with the chain-of-thought in-context learning approach to generate intermediate reasoning steps. Stance Reasoner outperforms the current state-of-the-art models on 3 Twitter datasets, including fully supervised models. It can better generalize across targets, while at the same time providing explicit and interpretable explanations for its predictions.

研究动机与目标

• 为解决社交媒体零样本立场检测的挑战，即模型必须在无需微调的情况下泛化到未见目标。
• 克服监督模型对训练目标过拟合且缺乏可解释性的局限。
• 通过将预训练语言模型与背景知识的结构化推理相结合，提升泛化能力。
• 生成显式、人类可读的立场预测解释，以支持错误检测与模型调试。
• 开发一种无需任务特定微调即可在多样化主题与领域间泛化的模型。

提出的方法

• 该方法使用优化后的提示（prompt）进行上下文学习，引导预训练语言模型生成立场预测的中间推理步骤。
• 通过显式提示工程，将目标的背景知识（例如，@POTUS = 美国总统）融入模型。
• 应用思维链（CoT）提示，生成从前提到结论的结构化推理链。
• 模型不进行微调，而是依赖少量少样本示例及多样化的推理策略来引导推理。
• 对每个输入生成多个推理链，并通过多数投票聚合预测结果，以提升鲁棒性。
• 该框架设计为可解释，其推理步骤可人工验证，并用于检测标注错误。

Figure 2: The impact of the number of sampled reasonings on the performance of Stance Reasoner. The performance increases with the number of samples.

实验结果

研究问题

• RQ1 在背景知识上进行显式推理是否能提升对未见目标的零样本立场检测性能？
• RQ2 上下文示例中推理策略的多样性如何影响模型的泛化能力？
• RQ3 非微调的、基于提示的方法是否能在零样本立场检测中超越完全监督的最先进模型？
• RQ4 生成的推理链在多大程度上能提升模型的可解释性与错误检测能力？
• RQ5 该方法在短社交媒体文本之外的不同领域和文本类型上的泛化能力如何？

主要发现

• Stance Reasoner 在三个公开的 Twitter 立场检测数据集上优于所有基线模型，包括完全监督的最先进方法。
• 该模型在未见目标上表现出优越的泛化能力，表明其推理策略能有效跨主题迁移。
• 生成的推理链具有可解释性，可用于识别标注错误和模糊样本。
• 当上下文示例中包含多样化的推理策略时，性能有所提升，凸显了推理多样性的重要性。
• 该方法在不进行微调的情况下保持高性能，仅依赖提示工程与上下文学习。
• 在许多情况下，模型的推理是忠实的，但忠实性并非绝对保证，复杂案例（如反讽）仍需人工验证。