[论文解读] Stance Prediction for Russian: Data and Analysis

Nikita Lozhnikov, Leon Derczynski+1 more|arXiv (Cornell University)|Jan 1, 2018

Misinformation and Its Impacts参考文献 36被引用 5

一句话总结

本文介绍了 RuStance，这是首个公开可用的俄语立场检测数据集，包含对推文和新闻评论的立场标注，涵盖四种立场类别：支持（Support）、否认（Deny）、询问（Query）和评论（Comment）。该研究在该数据集上评估了多种文本分类模型，尽管存在类别不平衡，基线模型仍取得了超过90%的准确率，为俄语语境下的虚假新闻与错误信息研究奠定了基础。

ABSTRACT

Stance detection is a critical component of rumour and fake news identification. It involves the extraction of the stance a particular author takes related to a given claim, both expressed in text. This paper investigates stance classification for Russian. It introduces a new dataset, RuStance, of Russian tweets and news comments from multiple sources, covering multiple stories, as well as text classification approaches to stance detection as benchmarks over this data in this language. As well as presenting this openly-available dataset, the first of its kind for Russian, the paper presents a baseline for stance prediction in the language.

研究动机与目标

• 为解决俄语立场检测缺乏标注数据集的问题，俄语是一种政治与媒体参与度较高的语言。
• 构建一个多样化、多源的俄语推文与新闻评论数据集，反映现实世界中对有争议主张的讨论。
• 使用传统与深度学习模型，建立俄语立场分类的基线性能。
• 分析类别不平衡、语言差异及社交媒体与新闻评论数据中的噪声等挑战。
• 支持未来在多语言虚假新闻检测与俄语内容事实核查流水线方面的研究。

提出的方法

• 从 Twitter、Meduza 和 Russia Today 收集数据，构建多源数据集（RuStance），包含主张及其回复的立场标注。
• 定义四种立场类别：支持（基于证据的支持）、否认（拒绝）、询问（请求证据）、评论（非评价性反应）。
• 使用分词、TF-IDF 向量化以及 Gensim 和 Keras 提供的词嵌入进行文本预处理，以支持深度学习模型。
• 在数据集上训练并评估多种分类器（包括逻辑回归、SGD、Bagging、AdaBoost 和 Boosting），采用五折交叉验证。
• 使用分层的训练/测试划分及 F1 分数和准确率等评估指标来衡量模型性能。
• 生成混淆矩阵以分析误分类模式，特别关注 'Comment' 类别的主导性。

实验结果

研究问题

• RQ1 标准文本分类模型在预测俄语社交媒体和新闻评论线程中的立场时效果如何？
• RQ2 类别不平衡（特别是 'Comment' 类别占主导）在多大程度上影响俄语立场检测中的模型性能？
• RQ3 俄语推文与评论的语言和结构特征（如攻击性、语法、多媒体使用）如何影响立场分类？
• RQ4 在仅有 1,000 个标注样本的情况下，基线模型能否在低资源语言俄语上实现高性能？
• RQ5 在泛化能力和鲁棒性方面，基于俄语数据训练的模型与基于英语数据集训练的模型相比表现如何？

主要发现

• 表现最佳的基线模型使用 Bagging 集成分类器，准确率达到 92.5%，F1 分数为 0.865。
• 尽管准确率很高，模型仍对 'Comment' 类别存在严重过拟合，预测超过 70% 的情况为 'Comment'，表明类别不平衡是关键挑战。
• 'Support' 和 'Deny' 类别比 'Query' 和 'Comment' 类别更可靠地被预测，后两者表现出更高的误分类率。
• 传统模型（如逻辑回归和 Bagging）优于深度学习方法（如 SGD 和 AdaBoost），表明在该小规模、噪声较多的数据集上，简单模型泛化能力更强。
• 混淆矩阵显示，即使准确率高的模型也难以区分 'Query' 和 'Comment' 立场，凸显了对更好上下文建模的需求。
• 该数据集表明，俄语社交媒体和评论区的语言与结构多样性与英语相当，支持其作为多语言立场检测的可靠资源。