[论文解读] On Detecting Messaging Abuse in Short Text Messages using Linguistic and Behavioral patterns

Alejandro Mosquera, Lamine M. Aouad+2 more|arXiv (Cornell University)|Aug 18, 2014

Spam and Phishing Detection参考文献 21被引用 7

一句话总结

本文提出一种结合语言学特征与行为模式的机器学习方法，用于检测短文本消息中的垃圾信息和滥用用户，通过文本标准化和子串聚类技术改进分词效果。在真实SMS和社交媒体数据上的评估显示，该方法F1得分高达0.97，误报率低至0.058%，证明其在应对混淆手法和模糊内容等挑战时，仍具备高效实时过滤能力。

ABSTRACT

The use of short text messages in social media and instant messaging has become a popular communication channel during the last years. This rising popularity has caused an increment in messaging threats such as spam, phishing or malware as well as other threats. The processing of these short text message threats could pose additional challenges such as the presence of lexical variants, SMS-like contractions or advanced obfuscations which can degrade the performance of traditional filtering solutions. By using a real-world SMS data set from a large telecommunications operator from the US and a social media corpus, in this paper we analyze the effectiveness of machine learning filters based on linguistic and behavioral patterns in order to detect short text spam and abusive users in the network. We have also explored different ways to deal with short text message challenges such as tokenization and entity detection by using text normalization and substring clustering techniques. The obtained results show the validity of the proposed solution by enhancing baseline approaches.

研究动机与目标

• 为解决在SMS和社交媒体等短文本平台中检测垃圾信息与滥用消息的挑战，传统过滤方法因混淆手法和缺乏元数据而失效。
• 通过结合语言学特征（如n-gram、标准化文本）与行为模式（如消息频率、收件人数量）提升检测准确率。
• 开发一种可扩展的实时过滤解决方案，适用于高流量消息网络且具有严格延迟约束的场景。
• 在来自美国电信运营商和社交媒体平台的真实数据上评估该方法，确保其实际适用性。

提出的方法

• 作者采用一种混合机器学习模型（MPA），整合语言学特征（n-gram、标准化文本）与行为特征（发送者活动、收件人数量）以实现垃圾信息检测。
• 应用文本标准化技术，统一拼写、缩写和缩略语的变体，提升特征一致性。
• 采用子串聚类作为标准分词的替代方案，通过分组常见子串更好地捕捉短文本中噪声信息的模式。
• 采用代价敏感分类方法，在保持高召回率的同时降低误报率。
• 模型在来自美国电信提供商的真实SMS数据集和社会媒体评论语料库上进行训练，并在静态与实时网络数据上进行评估。
• 超参数调优确定随机森林基MPA模型的最佳树数为500棵，兼顾性能与计算成本。

实验结果

研究问题

• RQ1 与单独使用任一特征相比，语言学与行为特征联合使用是否能显著提升对短文本消息中垃圾信息的检测效果？
• RQ2 文本标准化与子串聚类在提升短文本、被混淆消息的特征表示方面效果如何？
• RQ3 在未重新训练的情况下，该模型在实时网络流量上应用时，性能是否能长期保持稳定？
• RQ4 隐含行动号召（CTA）与URL混淆在实际部署中对误报率与漏报率的影响程度如何？
• RQ5 当基于内容的信号不明确时，元数据与网络行为在识别恶意发送者方面发挥何种作用？

主要发现

• 所提出的MPA模型在为期22周的实时SMS数据上对发送者分类的F1得分为0.97，误报率低至0.058%。
• 模型在长时间内保持稳定性能，仅在第62至63周因新型成人诈骗活动（含隐含CTA）导致F1出现轻微下降，该类样本在训练数据中代表性不足。
• 文本标准化在消息分类F1上带来适度但可测量的提升，表明其在处理词汇变体方面的价值。
• 子串聚类在处理短文本与噪声信息方面优于标准分词，减少了虚假特征并提升了模型鲁棒性。
• 语言学与行为特征的结合显著降低了误报率，尤其在转发消息或模糊URL场景下优于仅依赖内容的模型。
• 研究发现，URL信誉、WHOIS数据与内容分析可进一步提升检测效果，提示未来可集成这些特征。