[论文解读] Veracity Computing from Lexical Cues and Perceived Certainty Trends

Uwe D. Reichel, Piroska Lendvai|arXiv (Cornell University)|Nov 8, 2016

Misinformation and Its Impacts参考文献 24被引用 4

一句话总结

本文提出一种基于数据驱动的方法，利用词汇线索和预测的确定性趋势，计算社交媒体谣言的真实性。该方法结合词汇线索比率与确定性的时间序列模式，以识别谣言化解的推文并预测其真实值，无需外部资源即可实现谣言检测的0.74 F1得分和真实值预测的0.76 F1得分。

ABSTRACT

We present a data-driven method for determining the veracity of a set of rumorous claims on social media data. Tweets from different sources pertaining to a rumor are processed on three levels: first, factuality values are assigned to each tweet based on four textual cue categories relevant for our journalism use case; these amalgamate speaker support in terms of polarity and commitment in terms of certainty and speculation. Next, the proportions of these lexical cues are utilized as predictors for tweet certainty in a generalized linear regression model. Subsequently, lexical cue proportions, predicted certainty, as well as their time course characteristics are used to compute veracity for each rumor in terms of the identity of the rumor-resolving tweet and its binary resolution value judgment. The system operates without access to extralinguistic resources. Evaluated on the data portion for which hand-labeled examples were available, it achieves .74 F1-score on identifying rumor resolving tweets and .76 F1-score on predicting if a rumor is resolved as true or false.

研究动机与目标

• 仅使用文本线索与时序动态，自动判断社交媒体中谣言的真实性。
• 基于语言与时间特征，识别谣言链中哪条推文解决了该声明。
• 仅使用文本内特征与时间锚定特征，预测谣言最终是否被证实为真或假。
• 仅从词汇线索建模说话者确定性，不依赖外部元数据或来源档案。
• 评估线索比率与确定性在时间上的变化对声明化解检测的影响。

提出的方法

• 使用四类词汇线索——知识、报告、信念与怀疑，基于极性与承诺程度为推文分配事实性值。
• 广义线性模型（GLMs）从这些词汇线索的比率中预测推文的确定性，以解决单一线索相关性较弱的问题。
• 时间序列分析识别线索比率与预测确定性中的不连续性（如重置、变化量），以检测化解点。
• 将线索比率集合（CueSet）与预测确定性集合（CertSet）组合成输入，用于AdaBoostM1分类器。
• 采用10折交叉验证并结合重采样方法，以处理保留测试集中类别不平衡的问题。
• 系统不依赖任何外部语言学数据，完全基于文本与时间模式运行。

实验结果

研究问题

• RQ1 词汇线索比率与预测的确定性水平是否能可靠识别出化解谣言的推文？
• RQ2 经证实与被证伪的声明在线索比率与确定性值的时间趋势上存在何种差异？
• RQ3 线索比率与确定性分数中的不连续性在多大程度上可作为声明化解的信号？
• RQ4 与原始线索比率相比，整合预测确定性是否能提升化解值预测的性能？
• RQ5 信念与怀疑线索在多大程度上与谣言的最终化解结果相关？

主要发现

• 利用词汇线索比率（CueSet）识别正确谣言化解推文的F1得分为0.74。
• 利用预测确定性值（CertSet）预测谣言为真或假的F1得分为0.76。
• 化解推文显示出知识与报告线索比率（KCR, RCR）的显著增加，且事实性线索比率（FCR）在化解时刻达到峰值。
• 在被证伪的声明中，怀疑线索在化解后急剧上升；而在被证实的声明中，确定性线索上升，而在被证伪的声明中则下降。
• 化解值与确定性趋势的交互作用表明，不连续性的方向与幅度取决于该声明最终是否为真。
• 预测确定性特征在化解值预测中优于原始线索比率，表明在稀疏数据中，中间特征整合具有显著优势。