[论文解读] We used Neural Networks to Detect Clickbaits: You won't believe what happened Next!

Ankesh Anand, Tanmoy Chakraborty+1 more|arXiv (Cornell University)|Dec 5, 2016

Misinformation and Its Impacts参考文献 10被引用 9

一句话总结

该论文提出了一种双向长短期记忆网络（BiLSTM）神经网络，结合预训练词嵌入与字符级嵌入，以检测点击诱饵标题，且无需依赖人工设计的特征。该模型在基准数据集上实现了98%的准确率、98%的F1分数和99%的ROC-AUC，相比先前的最先进方法在准确率和F1分数上均提升了超过5个百分点。

ABSTRACT

Online content publishers often use catchy headlines for their articles in order to attract users to their websites. These headlines, popularly known as clickbaits, exploit a user's curiosity gap and lure them to click on links that often disappoint them. Existing methods for automatically detecting clickbaits rely on heavy feature engineering and domain knowledge. Here, we introduce a neural network architecture based on Recurrent Neural Networks for detecting clickbaits. Our model relies on distributed word representations learned from a large unannotated corpora, and character embeddings learned via Convolutional Neural Networks. Experimental results on a dataset of news headlines show that our model outperforms existing techniques for clickbait detection with an accuracy of 0.98 with F1-score of 0.98 and ROC-AUC of 0.99.

研究动机与目标

• 开发一种基于深度学习的点击诱饵检测系统，以减少对人工特征工程和特定领域语言知识的依赖。
• 通过利用分布式词嵌入和字符级嵌入，捕捉语义、拼写及词形特征，从而提升检测性能。
• 在标准化数据集上，评估不同RNN架构（BiRNN、BiGRU和BiLSTM）在点击诱饵检测中的表现。
• 证明端到端的神经网络学习方法可超越依赖大量特征工程的传统方法。
• 发布代码与模型权重，以促进点击诱饵检测研究的可复现性与进一步发展。

提出的方法

• 使用在Google News数据集1000亿词上预训练的300维word2vec词嵌入，以捕捉词语的语义与句法表示。
• 对字符序列应用带有ReLU激活函数和最大池化的1D卷积神经网络（CNN），以生成字符级词嵌入，提升OOV（未登录词）的处理能力。
• 通过拼接方式将词嵌入与字符嵌入结合，作为双向RNN（BiLSTM、BiGRU或BiRNN）的输入，以建模标题中的序列依赖关系。
• 采用双向LSTM架构，以同时捕捉标题序列中正向与反向的上下文信息。
• 使用带有Sigmoid激活函数的全连接层进行二分类（点击诱饵 vs. 非点击诱饵），采用二元交叉熵损失函数与Adam优化器进行训练。
• 应用Dropout（丢弃率=0.3）进行正则化，并使用批量大小为64的随机梯度下降进行训练。

实验结果

研究问题

• RQ1 结合词嵌入与字符嵌入的神经网络模型是否能超越依赖人工特征的传统点击诱饵检测方法？
• RQ2 在联合使用词嵌入与字符嵌入的前提下，BiRNN、BiGRU与BiLSTM中哪种RNN架构在点击诱饵检测中表现最佳？
• RQ3 字符级嵌入的引入在多大程度上提升了泛化能力，特别是在点击诱饵标题中罕见或未登录词的处理方面？
• RQ4 与最先进方法相比，所提出的端到端深度学习方法在标准化基准数据集上的准确率、F1分数与ROC-AUC表现如何？
• RQ5 该模型是否能在无需大量语言学预处理或领域特定词典的情况下实现高性能？

主要发现

• 结合字符嵌入与词嵌入的BiLSTM模型（BiLSTM-CE+WE）表现最佳，准确率达到98%，F1分数为98%，ROC-AUC达到99%。
• BiLSTM-CE+WE模型相比最佳基线方法（Chakraborty等人，2016年提出的SVM）在准确率上高出5.0个百分点，F1分数也高出5.0个百分点。
• 0.99的ROC-AUC得分表明模型在区分点击诱饵与非点击诱饵标题方面具有极强的判别能力。
• 词嵌入与字符嵌入的结合始终优于单独使用任一类型嵌入，凸显了语义特征与拼写特征的互补性。
• 在RNN变体中，BiLSTM优于BiGRU与BiRNN，且双向架构显著优于单向模型。
• 模型在10折交叉验证中表现稳定，表明其在基准数据集上具备强大的泛化能力与稳定性。