[论文解读] Using Deep Networks and Transfer Learning to Address Disinformation

Numa Dhamani, Paul Azunre+5 more|arXiv (Cornell University)|May 24, 2019

Misinformation and Its Impacts参考文献 23被引用 10

一句话总结

本文提出了一种基于字符级别的CNN-LSTM集成模型，用于在多种社交媒体任务中检测虚假信息，通过迁移学习从低资源环境中的标注数据中泛化。该模型在政治情感分类任务中达到88.10%的测试准确率，在识别有害内容任务中实现100%准确率，且仅使用文本输入即可在垃圾信息检测、评论轰炸和对话聚类任务中表现出色。

ABSTRACT

We apply an ensemble pipeline composed of a character-level convolutional neural network (CNN) and a long short-term memory (LSTM) as a general tool for addressing a range of disinformation problems. We also demonstrate the ability to use this architecture to transfer knowledge from labeled data in one domain to related (supervised and unsupervised) tasks. Character-level neural networks and transfer learning are particularly valuable tools in the disinformation space because of the messy nature of social media, lack of labeled data, and the multi-channel tactics of influence campaigns. We demonstrate their effectiveness in several tasks relevant for detecting disinformation: spam emails, review bombing, political sentiment, and conversation clustering.

研究动机与目标

• 开发一种通用的、仅基于文本的框架，用于在多种在线交流平台中检测虚假信息。
• 通过使用基于字符级别的深度学习模型，解决标注数据有限和社交媒体文本噪声多的问题。
• 通过从一个领域中的标注数据迁移学习，提升在相关虚假信息检测任务上的性能，同时仅需极少的额外标注。
• 通过学习到的语义表示支持在线话语的探索性分析，如聚类和趋势检测。
• 构建一种稳健且可移植的虚假信息检测解决方案，不依赖于平台特定的元数据或网络特征。

提出的方法

• 该模型使用基于字符的卷积神经网络（CNN）直接从原始文本中学习表征，无需固定词表即可捕捉拼写错误、俚语和表情符号。
• 长短期记忆网络（LSTM）处理由CNN学习到的特征，以建模文本中的序列依赖关系。
• 集成模型在大规模标注数据集上进行预训练，以学习通用且可迁移的自然语言表征。
• 通过在下游任务（如垃圾信息检测、情感分类和对话聚类）上微调预训练模型，应用迁移学习。
• 使用t-SNE可视化分析学习到的潜在空间，以支持聚类和话语模式的可解释性。
• 该框架仅依赖文本输入，避免对元数据或网络结构的依赖，从而支持跨平台部署。

实验结果

研究问题

• RQ1 基于字符级别的深度学习模型是否能仅使用文本输入，在多种社交媒体任务中有效分类虚假信息？
• RQ2 从通用预训练模型迁移学习，对低资源虚假信息检测任务的性能提升效果如何？
• RQ3 学习到的语义表征在多大程度上能支持探索性分析，如对话聚类和语言趋势检测？
• RQ4 在存在非标准语言（如拼写错误和表情符号）的情况下，该模型在检测有害内容方面的表现如何？
• RQ5 该模型是否能在不依赖元数据或网络特征的前提下，实现政治话语情感分类的高准确率？

主要发现

• 该模型在政治情感分类任务中达到88.10%的二分类测试准确率，有害/负面内容识别准确率为100%。
• 在0.5概率阈值下，有害内容检测的精确率、召回率和F1分数分别为0.68、0.98和0.81。
• 学习特征的t-SNE可视化成功将垃圾邮件与非垃圾邮件分离，且Enron（非垃圾邮件）类别的变异性更大。
• 该模型在迁移学习中表现出强大的泛化能力，在标签稀缺任务（如评论轰炸和对话聚类）中表现良好。
• 基于字符的方法有效捕捉了非母语话语特征，包括拼写错误和表情符号，且无需进行词级别分词。
• 未进行超参数调优，表明通过优化可进一步提升性能。