[论文解读] Targeted Phishing Campaigns using Large Scale Language Models

Rabimba Karanjai|arXiv (Cornell University)|Dec 30, 2022

Spam and Phishing Detection被引用 20

一句话总结

该论文评估大型语言模型在生成钓鱼邮件方面的可行性与有效性，提出一个评估框架，并将若干模型与基线方法进行比较，结果显示某些LLM能够生成可信的钓鱼文本并绕过部分防御，同时指出模型与数据相关的局限性。

ABSTRACT

In this research, we aim to explore the potential of natural language models (NLMs) such as GPT-3 and GPT-2 to generate effective phishing emails. Phishing emails are fraudulent messages that aim to trick individuals into revealing sensitive information or taking actions that benefit the attackers. We propose a framework for evaluating the performance of NLMs in generating these types of emails based on various criteria, including the quality of the generated text, the ability to bypass spam filters, and the success rate of tricking individuals. Our evaluations show that NLMs are capable of generating phishing emails that are difficult to detect and that have a high success rate in tricking individuals, but their effectiveness varies based on the specific NLM and training data used. Our research indicates that NLMs could have a significant impact on the prevalence of phishing attacks and emphasizes the need for further study on the ethical and security implications of using NLMs for malicious purposes.

研究动机与目标

• 评估使用大型语言模型生成钓鱼邮件的可行性。
• 制定一个评估框架，包含文本质量、绕过垃圾邮件过滤器和攻击者成功指标。
• 在钓鱼数据集上比较多种LLM（如 GPT-2、GPT-3、OPT）与基线模型的表现。
• 分析训练数据和模型选择如何影响钓鱼邮件的真实度和可检测性。
• 讨论使用LLMs进行恶意邮件生成的伦理与安全影响。

提出的方法

• 构建一个框架，对生成的钓鱼邮件在文本质量、过滤规避和攻击成功方面进行评估。
• 在混合数据集（合法与恶意邮件）上训练并评估各种LLM。
• 预处理数据以去除个人信息并规范内容。
• 使用提示语生成邮件并分析标记概率、排名和上下文熵。
• 将输出与基线模型和真实钓鱼样本进行比较。
• 记录所选模型的训练参数并报告定性示例。

实验结果

研究问题

• RQ1 大型语言模型是否能够生成难以被现有防御检测到的钓鱼邮件？
• RQ2 模型选择（GPT-2、GPT-3、OPT 等）和训练数据如何影响钓鱼邮件的真实度和成功率？
• RQ3 在使用 NLMs 来研究和检测钓鱼方面有哪些局限性和伦理考虑？
• RQ4 在多大程度上生成的邮件可以绕过生产级别的邮件保护机制？
• RQ5 可以采用哪些策略来减轻由 NLMs 生成的钓鱼内容带来的风险？

主要发现

• LLMs 可以生成钓鱼邮件，在适当提示下难以被检测且具有较高的表观可信度。
• 性能取决于具体模型及所用训练数据，表明在架构和数据集之间存在差异。
• GPT-3 及相关大型模型在有防护措施的情况下仍显示出显著潜力，能够生成具有说服力的定向邮件。
• 在有效性方面存在清晰的局限性，取决于模型选择和数据质量，提示威胁环境的复杂性。
• 该工作强调伦理与安全问题，以及需要改进的检测和防御框架。