[论文解读] X-Stance: A Multilingual Multi-Target Dataset for Stance Detection

Jannis Vamvas, Rico Sennrich|arXiv (Cornell University)|Mar 18, 2020

Topic Modeling参考文献 14被引用 46

一句话总结

本文提出 x-stance，这是一个由瑞士选举评论（德语、法语、意大利语）构建的大型多语言立场数据集，采用问答格式以实现跨语言和跨目标的立场检测；基线结果使用 Multilingual BERT 显示了部分 zero-shot 转移并在同语言上表现强劲。

ABSTRACT

We extract a large-scale stance detection dataset from comments written by candidates of elections in Switzerland. The dataset consists of German, French and Italian text, allowing for a cross-lingual evaluation of stance detection. It contains 67 000 comments on more than 150 political issues (targets). Unlike stance detection models that have specific target issues, we use the dataset to train a single model on all the issues. To make learning across targets possible, we prepend to each instance a natural question that represents the target (e.g. "Do you support X?"). Baseline results from multilingual BERT show that zero-shot cross-lingual and cross-target transfer of stance detection is moderately successful with this approach.

研究动机与目标

• 创建一个覆盖多种目标和主题的大规模多语言立场检测数据集，以实现跨语言和跨目标的评估。
• 通过将问题作为目标的自然语言表示，将关于政治议题的问题转化为目标。
• 提供标准化的训练/验证/测试划分，以评估零-shot 跨语言和跨目标迁移。
• 建立强基线并分析每个文本片段（问题与评论）在立场分类中的重要性。

提出的方法

• 通过将瑞士政治问题与 Smartvote 的候选人评论配对来构建 x-stance；将多标签的是/否回应转换为二元立场标签（支持/反对）。
• 预先对数据进行质量筛选，并使用语言检测器对评论进行语言标注；移除英语评论，筛选过短或包含 URL 的评论。
• 将多语言 BERT 模型微调为序列对分类器（将问题作为片段 A，评论作为片段 B）用于立场检测；在训练中对类别进行平衡。
• 比较基线，包括全局/目标相关多数基线和 fastText BoW 分类器；在有监督和跨语言/跨目标设置下进行评估。
• 探索变体，包括水平与垂直语言一致性、单片段消融（仅评论或仅问题），以及目标嵌入与自然语言目标之间的比较。

实验结果

研究问题

• RQ1 在使用问答格式时，一台模型在跨多目标和多语言的立场检测上能学到多好？
• RQ2 在用德语和法语训练后，针对于意大利语的零-shot 跨语言转移性能如何？
• RQ3 跨目标迁移（同一主题内及跨未看见主题）的表现如何与有监督的同语言表现相比？
• RQ4 同时使用问题和评论与仅使用单一片段对立场检测准确性的影响有多大？
• RQ5 与学习到的目标嵌入相比，是否使用展开的自然语言问题对于性能至关重要？

主要发现

• 多语言 BERT 的准确率高于基线，面向意大利语的跨语言零-shot 转移相比目标相关基线有提升。
• 相较于有监督的同语言表现，跨语言和跨目标性能下降，但 M-BERT 在各设定中仍然是最强的基线。
• 同时使用问题和评论很重要；移除任一片段都会降低性能，尤其是在缺少问题时。
• 用自然语言问题表示目标在有监督和跨语言场景下优于目标嵌入，表明问题中的语言线索有助于立场检测。
• 意大利语的跨语言零-shot 得分显著优于目标相关基线，表明该数据集具有可行的跨语言迁移。