[论文解读] Personal Email Networks: An Effective Anti-Spam Tool

P. Oscar Boykin, Vwani Roychowdhury|arXiv (Cornell University)|Feb 4, 2004

Spam and Phishing Detection参考文献 7被引用 76

一句话总结

本文提出一种基于图论的方法，仅利用电子邮件头部的发件人-收件人元数据，自动识别可信电子邮件网络和垃圾邮件子网络。通过检测密集、聚集的社区（可信联系人）和稀疏、非聚集的子网络（垃圾邮件发送者），该算法以100%的准确率对53%的邮件进行分类，实现完全自动化、无漏报的垃圾邮件过滤，同时无需用户训练即可增强基于内容的过滤器。

ABSTRACT

We provide an automated graph theoretic method for identifying individual users' trusted networks of friends in cyberspace. We routinely use our social networks to judge the trustworthiness of outsiders, i.e., to decide where to buy our next car, or to find a good mechanic for it. In this work, we show that an email user may similarly use his email network, constructed solely from sender and recipient information available in the email headers, to distinguish between unsolicited commercial emails, commonly called "spam", and emails associated with his circles of friends. We exploit the properties of social networks to construct an automated anti-spam tool which processes an individual user's personal email network to simultaneously identify the user's core trusted networks of friends, as well as subnetworks generated by spams. In our empirical studies of individual mail boxes, our algorithm classified approximately 53% of all emails as spam or non-spam, with 100% accuracy. Some of the emails are left unclassified by this network analysis tool. However, one can exploit two of the following useful features. First, it requires no user intervention or supervised training; second, it results in no false negatives i.e., spam being misclassified as non-spam, or vice versa. We demonstrate that these two features suggest that our algorithm may be used as a platform for a comprehensive solution to the spam problem when used in concert with more sophisticated, but more cumbersome, content-based filters.

研究动机与目标

• 开发一种全自动、用户友好的反垃圾邮件解决方案，无需手动训练或监督。
• 利用社交网络的结构特性——特别是聚类和连通性——区分垃圾邮件与合法电子邮件。
• 构建一个能够为基于内容的垃圾邮件过滤器生成准确、个性化训练数据的平台。
• 通过最小化用户在垃圾邮件过滤中的手动干预，减轻终端用户负担。
• 为电子邮件服务器和ISP提供可扩展、可部署的解决方案，以大规模提升垃圾邮件检测能力。

提出的方法

• 从电子邮件头部的发件人和收件人信息构建个人电子邮件网络，将每封邮件视为发件人与收件人之间的无向边。
• 识别网络中的连通分量，并根据其大小和聚类系数进行分类：高聚类性表示可信联系人；低聚类性则暗示垃圾邮件。
• 若分量规模大且聚类系数高，则分类为“可信”（非垃圾邮件）；若规模大但聚类系数低，则分类为“类似垃圾邮件”。
• 由于统计功效不足，将节点数少于5个的小分量保留在未分类状态，形成“灰名单”。
• 利用分类结果为基于内容的过滤器生成个性化训练集，适配用户个人的邮件模式。
• 采用图论指标（如聚类系数和分量大小）区分真实社交网络与垃圾邮件传播模式。

实验结果

研究问题

• RQ1 能否仅通过电子邮件发件人-收件人模式，在不进行内容分析的情况下自动识别可信社交网络和垃圾邮件子网络？
• RQ2 纯图-based方法能否在个人电子邮件网络中实现对垃圾邮件与非垃圾邮件分类的100%准确率？
• RQ3 此类方法在多大程度上可减少基于内容的垃圾邮件过滤器对用户提供的训练数据的依赖？
• RQ4 该方法在真实用户电子邮箱中的邮件分类效果如何？
• RQ5 该方法能否由电子邮件服务提供商大规模部署，以实现垃圾邮件过滤的普遍性提升？

主要发现

• 该算法以100%的准确率对约53%的邮件进行了垃圾邮件或非垃圾邮件分类，未出现任何误报或漏报。
• 其正确分类了44%的非垃圾邮件和54%的垃圾邮件，其余47%因分量规模过小而未被分类。
• 该方法完全自动化，无需用户干预或监督训练，具有极高的用户友好性。
• 该算法几乎完全免疫于漏报，这对维护用户对垃圾邮件过滤器的信任至关重要。
• 该方法能生成高质量、个性化的训练数据，显著减轻手动训练的负担。
• 该方法可与现有反垃圾邮件系统集成，并由ISP和企业邮件服务器大规模部署，以提升垃圾邮件检测能力。