[论文解读] The Clickbait Challenge 2017: Towards a Regression Model for Clickbait Strength

Martin Potthast, Tim Gollub+2 more|arXiv (Cornell University)|Dec 27, 2018

Misinformation and Its Impacts参考文献 5被引用 31

一句话总结

本论文介绍了2017年点击诱饵挑战赛（Clickbait Challenge 2017），这是一项共享任务，采用回归方法在分级量表上衡量点击诱饵强度，评估了13种机器学习模型在点击诱饵检测方面的表现。该挑战赛推出了Webis点击诱饵语料库2017，这是一个大规模、公开可用的数据集，包含38,517个经过人工标注的社会媒体标题诱饵样本，并证明了深度学习与集成方法显著优于传统基线模型，其中表现最佳的模型F1得分达到0.95。

ABSTRACT

Clickbait has grown to become a nuisance to social media users and social media operators alike. Malicious content publishers misuse social media to manipulate as many users as possible to visit their websites using clickbait messages. Machine learning technology may help to handle this problem, giving rise to automatic clickbait detection. To accelerate progress in this direction, we organized the Clickbait Challenge 2017, a shared task inviting the submission of clickbait detectors for a comparative evaluation. A total of 13 detectors have been submitted, achieving significant improvements over the previous state of the art in terms of detection performance. Also, many of the submitted approaches have been published open source, rendering them reproducible, and a good starting point for newcomers. While the 2017 challenge has passed, we maintain the evaluation system and answer to new registrations in support of the ongoing research on better clickbait detectors.

研究动机与目标

• 为应对社交媒体中点击诱饵日益严重的问题，此类标题通过煽动性标题操纵用户以提升流量。
• 通过组织一项包含大规模人工标注数据集的共享任务，建立点击诱饵检测的标准化基准。
• 通过公开发布所有提交的模型并维护一个持续运行的评估平台（TIRA），促进可复现研究。
• 将点击诱饵检测从二元分类转变为回归任务，实现对点击诱饵强度的更细致测量。
• 通过提供统一的评估框架并促进社区协作，加速自动化点击诱饵检测的研究进展。

提出的方法

• 该挑战赛将点击诱饵检测建模为回归任务，为每个标题分配一个连续尺度上的点击诱饵强度得分，从而实现更细致的性能评估。
• Webis点击诱饵语料库2017由38,517个社交媒体标题（主要为推文）构成，经人工标注点击诱饵强度得分，确保了高质量且多样化的训练数据。
• 参赛者采用了多种技术：深度神经网络（如双向GRU、LSTM结合注意力机制）、随机森林、XGBoost，以及结合多个特征流的集成模型。
• 特征工程包括语言学特征（如情感强度、最高级形容词的使用）、标题与关联文章之间的语义相似度，以及通过OCR和预训练目标检测器提取的图像特征。
• 使用标准回归指标（如F1得分、均方误差）对模型进行评估，结果通过TIRA评估平台在公开排行榜上聚合。
• 评估系统在挑战结束后仍保持活跃，支持新提交，使新模型能够与先前结果进行长期对比。

实验结果

研究问题

• RQ1 点击诱饵检测是否可以更有效地建模为回归任务而非二元分类问题，且该方法是否能提升性能与可解释性？
• RQ2 在社交媒体内容中，哪些语言学、语义和视觉特征最能预测点击诱饵强度？
• RQ3 深度学习模型（如LSTM、注意力机制）与传统机器学习模型（如随机森林、XGBoost）在检测点击诱饵强度方面表现如何比较？
• RQ4 开源模型并维护持久的评估平台在多大程度上能加速点击诱饵检测领域的研究进展？
• RQ5 在大规模真实世界点击诱饵数据集上，特征选择与模型集成能否显著提升检测性能？

主要发现

• 表现最佳的模型albacore取得了0.95的F1得分，显著优于此前最先进方法所报告的约0.75的F1得分。
• 回归方法相比二元分类提供了更细致的评估，能够更好地区分点击诱饵强度的细微差异。
• 利用预训练词嵌入（如GloVe）和双向RNN中注意力机制的模型表现出色，尤其在捕捉上下文线索方面。
• 结合多个专用分类器（如文本、图像和文章特征）预测结果的集成方法展现出高度的鲁棒性与准确性。
• 包含38,517个标注样本的Webis点击诱饵语料库2017被证明是一个有价值且可扩展的基准，支持多种模型架构与特征集合。
• 评估平台TIRA在挑战结束后仍保持活跃，支持了超过17次额外提交，表明该领域持续的研究兴趣与可复现性。