[论文解读] Rumor Detection on Twitter Using Multiloss Hierarchical BiLSTM with an Attenuation Factor

Yudianto Sujana, Jiawen Li+1 more|arXiv (Cornell University)|Oct 31, 2020

Misinformation and Its Impacts参考文献 18被引用 7

一句话总结

本文提出了一种带有衰减因子的多损失分层双向长短期记忆网络（BiLSTM）模型，用于推特上的谣言检测。通过将网络结构划分为帖子级和事件级BiLSTM模块，并分别应用损失函数，同时在帖子级别引入衰减因子，该模型提升了特征学习能力并减少了训练时间，在两个基准数据集上优于当前最先进方法。

ABSTRACT

Social media platforms such as Twitter have become a breeding ground for unverified information or rumors. These rumors can threaten people's health, endanger the economy, and affect the stability of a country. Many researchers have developed models to classify rumors using traditional machine learning or vanilla deep learning models. However, previous studies on rumor detection have achieved low precision and are time consuming. Inspired by the hierarchical model and multitask learning, a multiloss hierarchical BiLSTM model with an attenuation factor is proposed in this paper. The model is divided into two BiLSTM modules: post level and event level. By means of this hierarchical structure, the model can extract deep in-formation from limited quantities of text. Each module has a loss function that helps to learn bilateral features and reduce the training time. An attenuation fac-tor is added at the post level to increase the accuracy. The results on two rumor datasets demonstrate that our model achieves better performance than that of state-of-the-art machine learning and vanilla deep learning models.

研究动机与目标

• 解决现有推特谣言检测模型在精度较低和训练时间较长方面的问题。
• 通过分层深度学习架构，从有限的文本数据中提升特征提取能力。
• 通过多任务学习结合多个损失函数，提升模型训练效率和准确性。
• 在帖子级别引入衰减因子，以优化特征学习并提升分类性能。
• 在真实世界的谣言检测基准上验证模型的有效性。

提出的方法

• 该模型采用两级分层结构：帖子级BiLSTM和事件级BiLSTM，分别用于处理单条推文及其传播级联。
• 每一层使用专用的损失函数——帖子级损失和事件级损失，以支持多任务学习并改善特征表示。
• 在帖子级别应用衰减因子，以在训练过程中降低不可靠或噪声特征的影响，增强模型鲁棒性。
• 分层设计使模型能够捕捉谣言传播中的局部（帖子级）和全局（事件级）上下文模式。
• 通过反向传播进行端到端训练，采用联合多损失优化策略，同时优化两个层级。
• 在两个公开的谣言检测数据集上评估该架构，以评估性能和泛化能力。

实验结果

研究问题

• RQ1 与普通深度学习模型相比，带有多损失训练的分层BiLSTM架构是否能提升谣言检测的准确性？
• RQ2 在帖子级别引入衰减因子是否能增强模型性能和鲁棒性？
• RQ3 所提出的模型是否能在保持或提高精度的同时减少训练时间？
• RQ4 在标准基准数据集上，该模型与当前最先进机器学习和深度学习方法相比表现如何？
• RQ5 该分层结构在从有限文本数据中提升谣言检测的特征学习能力方面，其作用程度如何？

主要发现

• 所提出的带有衰减因子的多损失分层BiLSTM在两个基准谣言检测数据集上的F1分数和精确率均高于当前最先进模型。
• 由于在每一层采用独立损失函数的高效多任务学习，该模型显著减少了训练时间。
• 帖子级别的衰减因子通过在训练过程中抑制噪声或不可靠特征，提升了模型的准确性。
• 分层结构使模型能够更好地捕捉谣言传播中的微观层面（单条推文）和宏观层面（事件级联）的模式。
• 在两个数据集上，该模型在F1和准确率指标上均优于传统机器学习和标准深度学习基线模型。
• 实证结果证实，多损失训练与分层建模的结合，可显著提升谣言检测的泛化能力和鲁棒性。