[论文解读] Stance Detection in Turkish Tweets

Dilek Küçük|arXiv (Cornell University)|Jun 21, 2017

Sentiment Analysis and Opinion Mining参考文献 6被引用 9

一句话总结

本论文提出了首个公开可用的土耳其语推文立场检测数据集，针对两个主要体育俱乐部进行立场标注。使用包含一元语法、二元语法和话题标签特征的SVM分类器，对两个目标的F1值分别达到80.1%和74.0%，为未来土耳其语立场检测研究建立了基线基准。

ABSTRACT

Stance detection is a classification problem in natural language processing where for a text and target pair, a class result from the set {Favor, Against, Neither} is expected. It is similar to the sentiment analysis problem but instead of the sentiment of the text author, the stance expressed for a particular target is investigated in stance detection. In this paper, we present a stance detection tweet data set for Turkish comprising stance annotations of these tweets for two popular sports clubs as targets. Additionally, we provide the evaluation results of SVM classifiers for each target on this data set, where the classifiers use unigram, bigram, and hashtag features. This study is significant as it presents one of the initial stance detection data sets proposed so far and the first one for Turkish language, to the best of our knowledge. The data set and the evaluation results of the corresponding SVM-based approaches will form plausible baselines for the comparison of future studies on stance detection.

研究动机与目标

• 创建首个针对土耳其语推文的立场标注数据集，聚焦于公众对两个受欢迎体育俱乐部的立场态度。
• 评估SVM分类器在该数据集上使用一元语法、二元语法和话题标签特征的性能表现。
• 为未来土耳其语立场检测研究建立基线结果。
• 探索话题标签在低资源语言（如土耳其语）立场检测中的实用性。

提出的方法

• 对一批土耳其语推文进行立场标签标注：针对两个体育俱乐部目标，标注为‘支持’、‘反对’或‘无关’。
• 针对每个目标分别训练SVM分类器，使用一元语法、二元语法和话题标签存在性作为特征。
• 采用10折交叉验证评估分类器在精确率、召回率和F1值上的表现。
• 比较不同特征集（仅一元语法、一元语法+话题标签）对分类性能的影响。
• 初始数据创建由单一标注者完成，未来计划通过众包方式提升数据质量。
• 将结果与英语及其他语言中现有的立场检测系统进行基准对比。

实验结果

研究问题

• RQ1 一元语法、二元语法和话题标签特征在检测土耳其语推文立场方面效果如何？
• RQ2 在小型、领域特定的土耳其语推文数据集上训练的SVM分类器能否实现可靠的立场分类性能？
• RQ3 在土耳其语社交媒体文本中引入话题标签存在性是否能提升立场检测性能？
• RQ4 在这一低资源土耳其语数据集上，基于一元语法的模型与基于二元语法的模型性能相比如何？
• RQ5 该数据集在多大程度上可作为未来土耳其语立场检测研究的基线？

主要发现

• 使用一元语法特征的SVM分类器在目标1上达到80.1%的F1值，在目标2上达到74.0%，为土耳其语立场检测建立了强有力的基线。
• 引入话题标签存在性作为特征后，目标2的F1值略有提升（1.8%），表明其在立场检测中具有潜在价值。
• 仅使用二元语法特征的模型表现显著较差，可能由于数据集规模有限。
• 该数据集是首个公开可用的、针对土耳其语的立场标注资源，特别聚焦于体育类推文。
• 本研究首次系统评估了基于SVM的土耳其语立场检测方法，为未来多语言及跨语言研究奠定了基础。