[论文解读] RatGPT: Turning online LLMs into Proxies for Malware Attacks

Mika Beckerich, Laura Plein+1 more|arXiv (Cornell University)|Aug 17, 2023

Advanced Malware Detection Techniques被引用 15

一句话总结

本论文展示了使用 ChatGPT 及网络插件作为受害者与恶意 C2 服务器之间的代理，武器化并指挥受害者的机器，形成内存中的恶意软件并规避检测。

ABSTRACT

The evolution of Generative AI and the capabilities of the newly released Large Language Models (LLMs) open new opportunities in software engineering. However, they also lead to new challenges in cybersecurity. Recently, researchers have shown the possibilities of using LLMs such as ChatGPT to generate malicious content that can directly be exploited or guide inexperienced hackers to weaponize tools and code. These studies covered scenarios that still require the attacker to be in the middle of the loop. In this study, we leverage openly available plugins and use an LLM as proxy between the attacker and the victim. We deliver a proof-of-concept where ChatGPT is used for the dissemination of malicious software while evading detection, alongside establishing the communication to a command and control (C2) server to receive commands to interact with a victim's system. Finally, we present the general approach as well as essential elements in order to stay undetected and make the attack a success. This proof-of-concept highlights significant cybersecurity issues with openly available plugins and LLMs, which require the development of security guidelines, controls, and mitigation strategies.

研究动机与目标

• 提高对公开可用的 LLM 及其插件如何被误用为攻击面的认识。
• 展示一个完全自动化、可执行的流水线，利用 LLM 作为 C2 通信的代理。
• 展示攻击者可以在不在主机上留下直接痕迹的情况下远程控制受害者的机器。
• 讨论此类攻击面的局限性、防护措施和缓解策略。

提出的方法

• 定义能够浏览网页并访问任意 URL 的易受攻击的插件。
• 使用越狱提示以绕过安全保护并通过 LLM 生成可执行代码。
• 通过对 LLM 的提示动态生成 C2 服务器 IP 地址和有效载荷代码。
• 通过在内存中评估的 LLM 生成代码来嵌入一个无害可执行文件以实现武器化。
• 通过 LLM 启用的网络插件与攻击者的 C2 服务器协调有效载荷通信。
• 描述包含有效载荷生成、C2 轮询和数据外泄的概念验证工作流程。

实验结果

研究问题

• RQ1 具备插件的 OpenAI 风格在线 LLM 是否能够充当隐蔽代理来建立并维持命令与控制通道？
• RQ2 通过 LLM 生成的代码和具网路插件对无害可执行文件进行武器化的端到端工作流有哪些可行方案？
• RQ3 哪些缓解策略和安全措施可以阻止或检测使用插件的基于 LLM 的代理恶意软件？

主要发现

• 一个完全可执行且自动化的流水线可以使用公开可获取的 LLM 和插件来形成 C2 通信通道。
• 概念验证展示了劫持受害者机器并通过 LLM 生成的有效载荷执行 shell 命令的可行性。
• 攻击在受害者侧保持被动性，执行后不需要用户再提供提示。
• 有效载荷和 IP 地址可以由 LLM 动态生成，帮助规避恶意软件扫描程序和静态分析。