[论文解读] Opening A Pandora's Box: Things You Should Know in the Era of Custom GPTs

Guanhong Tao, Siyuan Cheng+4 more|arXiv (Cornell University)|Dec 31, 2023

Advanced Malware Detection Techniques被引用 6

一句话总结

本文对 OpenAI 的自定义 GPT 进行了系统的安全分析，利用 STRIDE 框架识别出 26 个攻击向量，其中 19 个在真实环境中得到验证。研究揭示了数据外泄、欺骗和未经授权代码执行等关键威胁，呼吁在官方 GPT Store 上线前采取主动的安全设计措施。

ABSTRACT

The emergence of large language models (LLMs) has significantly accelerated the development of a wide range of applications across various fields. There is a growing trend in the construction of specialized platforms based on LLMs, such as the newly introduced custom GPTs by OpenAI. While custom GPTs provide various functionalities like web browsing and code execution, they also introduce significant security threats. In this paper, we conduct a comprehensive analysis of the security and privacy issues arising from the custom GPT platform. Our systematic examination categorizes potential attack scenarios into three threat models based on the role of the malicious actor, and identifies critical data exchange channels in custom GPTs. Utilizing the STRIDE threat modeling framework, we identify 26 potential attack vectors, with 19 being partially or fully validated in real-world settings. Our findings emphasize the urgent need for robust security and privacy measures in the custom GPT ecosystem, especially in light of the forthcoming launch of the official GPT store by OpenAI.

研究动机与目标

• 对由微调大语言模型所推动的新范式——自定义 GPT 平台中的安全与隐私威胁进行系统性分析。
• 识别并分类由第三方 GPT 开发引发的真实世界攻击场景。
• 通过威胁建模和对公开自定义 GPT 的实证验证，评估攻击向量的可行性。
• 在官方 GPT Store 上线前，为开发者、用户和平台提供商提出可操作的安全建议。

提出的方法

• 根据恶意行为者角色将攻击场景划分为三类威胁模型：GPT、终端用户，或两者兼具。
• 识别五条关键数据交换通道：对话、文件传输、网络访问、操作命令和身份认证。
• 应用 STRIDE 威胁建模框架，系统性地映射六类威胁：欺骗、篡改、抵赖、信息泄露、拒绝服务和权限提升。
• 通过分析公开可获取的自定义 GPT 并复现其中 19 个（共 26 个）识别出的攻击向量，开展真实世界验证。
• 提出安全设计原则，包括执行透明性、数据隔离、访问控制和系统加固。
• 开发针对恶意 GPT 的检测策略，通过指令扫描和实时监控实现；针对恶意用户，则通过被动通道防御实现。

实验结果

研究问题

• RQ1 第三方自定义 GPT 在大语言模型生态系统中引入了哪些主要安全与隐私威胁？
• RQ2 基于恶意行为者角色的各类威胁模型如何在自定义 GPT 的攻击面中体现？
• RQ3 在现有公开自定义 GPT 中，哪些攻击向量在技术上可实际实现，其技术基础是什么？
• RQ4 STRIDE 框架如何有效适配用于大语言模型应用平台的威胁建模？
• RQ5 在官方 GPT Store 部署前，哪些安全设计与运行时对策可有效缓解这些威胁？

主要发现

• 本研究利用 STRIDE 框架在自定义 GPT 生态系统中识别出 26 个不同的攻击向量，涵盖全部六类威胁。
• 其中 19 个攻击向量在真实环境中（部分）可实现，包括通过文件上传和网络请求实现的数据外泄。
• 恶意自定义 GPT 可通过对话期间窃取用户数据，绕过平台宣称的数据隔离保证。
• 平台缺乏适当的隔离机制，导致 GPT 和用户均可访问敏感系统提示和上传的文件。
• 在公开可获取的自定义 GPT 中发现了恶意行为的真实案例，例如未经授权的数据修改和隐蔽的数据传输。
• 本研究强调了迫切需要实施安全设计原则，包括执行透明性、访问控制以及安全的架构隔离（如哈佛架构与冯·诺依曼架构的对比）。