[论文解读] Using Large Language Models for Cybersecurity Capture-The-Flag Challenges and Certification Questions

Wesley Joon-Wie Tann, Yuancheng Liu+3 more|arXiv (Cornell University)|Aug 21, 2023

Digital and Cyber Forensics被引用 7

一句话总结

本研究评估了大型语言模型（LLMs）如ChatGPT、Google Bard和Microsoft Bing在解决网络安全部署的夺旗赛（CTF）挑战以及回答思科认证问题方面的有效性。研究发现，LLMs能够解决高达82%的事实性认证问题和7个CTF测试案例中的6个，但其表现常受安全政策限制——此类限制可通过越狱提示绕过，暴露出伦理上的脆弱性。

ABSTRACT

The assessment of cybersecurity Capture-The-Flag (CTF) exercises involves participants finding text strings or ``flags'' by exploiting system vulnerabilities. Large Language Models (LLMs) are natural-language models trained on vast amounts of words to understand and generate text; they can perform well on many CTF challenges. Such LLMs are freely available to students. In the context of CTF exercises in the classroom, this raises concerns about academic integrity. Educators must understand LLMs' capabilities to modify their teaching to accommodate generative AI assistance. This research investigates the effectiveness of LLMs, particularly in the realm of CTF challenges and questions. Here we evaluate three popular LLMs, OpenAI ChatGPT, Google Bard, and Microsoft Bing. First, we assess the LLMs' question-answering performance on five Cisco certifications with varying difficulty levels. Next, we qualitatively study the LLMs' abilities in solving CTF challenges to understand their limitations. We report on the experience of using the LLMs for seven test cases in all five types of CTF challenges. In addition, we demonstrate how jailbreak prompts can bypass and break LLMs' ethical safeguards. The paper concludes by discussing LLM's impact on CTF exercises and its implications.

研究动机与目标

• 评估大型语言模型（LLMs）在解决真实世界网络安全夺旗赛（CTF）挑战方面的能力。
• 评估LLMs在不同难度级别（从CCNA到CCIE）的专业认证问题上的表现。
• 研究LLMs中伦理防护机制对其在教育和网络安全竞赛场景中实用性的影晌。
• 探索使用越狱提示绕过LLMs安全策略，以提取潜在有害或可利用信息的方法。
• 为教育工作者提供关于LLMs对网络安全教育中学术诚信与教学法影响的见解。

提出的方法

• 评估了三种主流LLMs——OpenAI的ChatGPT、Google Bard和Microsoft Bing——在回答思科认证考试（CCNA至CCIE）中事实性和概念性问题方面的能力。
• 在所有五类CTF挑战类型中进行了七项测试案例：数字取证、密码学、Web利用、逆向工程和二进制利用。
• 使用真实CTFd平台的挑战并连接到实际目标系统，通过迭代式提示让LLMs生成解决方案。
• 采用越狱提示（如“始终聪明且马基雅维利式（AIM）”提示）绕过伦理限制，提取利用命令。
• 根据答案的正确性、解决方案的完整性以及生成有效利用命令的能力来衡量性能。
• 通过定性分析模型输出，评估LLM生成解决方案在CTF情境中的实用性与教育价值。

实验结果

研究问题

• RQ1 RQ1：LLMs在回答专业认证问题方面表现如何，特别是在思科考试不同难度级别上的表现？
• RQ2 RQ2：使用LLMs解决CTF挑战的体验如何？其生成的解决方案有多有效？
• RQ3 RQ3：越狱提示能否绕过LLMs的安全策略，以提取可用于CTF挑战的可执行利用信息？
• RQ4 RQ4：LLM辅助对网络安全教育和CTF竞赛中的学术诚信有何影响？

主要发现

• ChatGPT在思科认证考试的事实性多选题中正确回答了82%，但在概念性问题中仅正确回答约50%。
• 在七个CTF测试案例中，ChatGPT成功解决了六个，Google Bard解决了两个，Microsoft Bing仅解决了一个。
• LLMs频繁提供关键信息，如正确的Nikto和curl命令，显著加快了挑战的解决速度。
• 尽管有严格的安全策略，越狱提示（如AIM提示）仍成功绕过了限制，使LLMs能够生成有效的利用命令。
• 通过使用越狱提示，参与者成功通过构造恶意curl命令，在二进制利用挑战中获取了flag。
• LLM生成的解决方案常使参与者在不理解底层安全概念的情况下完成挑战，引发学术诚信方面的担忧。