[论文解读] SecQA: A Concise Question-Answering Dataset for Evaluating Large Language Models in Computer Security

Zefang Liu|arXiv (Cornell University)|Dec 26, 2023

Software Engineering Research被引用 6

一句话总结

本文介绍了 SecQA，一个基于教科书《Computer Systems Security: Planning for Success》使用 GPT-4 构建的专用多选题问答数据集，旨在评估大语言模型（LLMs）在计算机安全领域的表现。该数据集包含两个版本——v1 用于基础概念，v2 用于高级且细致的主题。关键结果表明，在 5-shot 设置下，GPT-4 在 SecQA v1 上实现了接近完美的准确率（100%），而开源模型如 Llama-2 和 Vicuna 的表现则显著较低，凸显了领域特定微调的必要性，也体现了该基准在识别模型局限性方面的价值。

ABSTRACT

In this paper, we introduce SecQA, a novel dataset tailored for evaluating the performance of Large Language Models (LLMs) in the domain of computer security. Utilizing multiple-choice questions generated by GPT-4 based on the "Computer Systems Security: Planning for Success" textbook, SecQA aims to assess LLMs' understanding and application of security principles. We detail the structure and intent of SecQA, which includes two versions of increasing complexity, to provide a concise evaluation across various difficulty levels. Additionally, we present an extensive evaluation of prominent LLMs, including GPT-3.5-Turbo, GPT-4, Llama-2, Vicuna, Mistral, and Zephyr models, using both 0-shot and 5-shot learning settings. Our results, encapsulated in the SecQA v1 and v2 datasets, highlight the varying capabilities and limitations of these models in the computer security context. This study not only offers insights into the current state of LLMs in understanding security-related content but also establishes SecQA as a benchmark for future advancements in this critical research area.

研究动机与目标

• 为解决缺乏针对大语言模型在计算机安全领域，特别是针对细致入微的领域知识评估的专用基准的问题。
• 创建一个简洁但全面的数据集，真实反映现实世界的安全原则与挑战。
• 评估领先的大语言模型（包括闭源模型 GPT-3.5-Turbo、GPT-4 和开源模型 Llama-2、Vicuna、Mistral、Zephyr）在安全相关推理任务上的表现。
• 建立一个可复现的基准，以支持未来研究，实现对 LLM 在安全应用中表现的系统性评估与改进。
• 识别开源模型在复杂安全主题上的性能差距，尤其在高级主题上，为未来领域特定模型的开发提供指导。

提出的方法

• 基于教科书《Computer Systems Security: Planning for Success》的内容，使用 GPT-4 生成多选题，以确保领域准确性与相关性。
• 将数据集结构化为两个版本：SecQA v1 用于基础安全原则，SecQA v2 用于更复杂且细致的主题。
• 采用零样本（zero-shot）和少样本（5-shot）推理设置来评估 LLM，无需微调，以模拟真实世界部署场景。
• 使用 Language Model Evaluation Harness 框架，实现模型间评估的标准化，确保可复现性。
• 选取多样化的 LLM，包括 GPT-3.5-Turbo、GPT-4、Llama-2、Vicuna、Mistral 和 Zephyr，以评估不同架构与规模模型的表现。
• 以准确率为首要指标评估模型，从而直接比较其在安全特定内容上的理解与推理能力。

实验结果

研究问题

• RQ1 领先的 LLM 在多选题测试中，对基础计算机安全原则的理解与应用能力如何？
• RQ2 与 SecQA v1 中的简单问题相比，LLM 在 SecQA v2 数据集中对更复杂且细致的安全主题的泛化能力如何？
• RQ3 与零样本推理相比，少样本提示（5-shot）在安全推理任务上对 LLM 表现的提升程度如何？
• RQ4 在计算机安全知识背景下，闭源与开源 LLM 之间的性能差异有多大？
• RQ5 SecQA 是否可作为评估和指导安全关键领域 LLM 未来发展的可靠且可扩展的基准？

主要发现

• 在 5-shot 设置下，GPT-4 在 SecQA v1 上实现了 100% 的准确率，表明其对基础安全概念有很强的理解能力。
• 在包含更多复杂且细致问题的 SecQA v2 上，GPT-4 在 0-shot 和 5-shot 设置下均达到 98.0% 的准确率，表明其具有高度鲁棒性，但也引发了关于该数据集对高级模型难度是否不足的担忧。
• 开源模型如 Llama-2-13B-Chat 在 SecQA v1 上的性能从 0-shot 的 49.1% 提升至 5-shot 的 89.1%，表明其具备较强的少样本适应能力，但仍存在基础理解能力的局限。
• Vicuna-7B-v1.5 在 SecQA v1 的 5-shot 设置下仅取得 30.9% 的准确率，揭示了其在安全主题推理方面存在显著局限，尽管其通用语言能力较强。
• Mistral-7B-Instruct-v0.2 和 Zephyr-7B-Beta 在两个版本上均表现出色，其中 Zephyr-7B-Beta 在 SecQA v1 的 5-shot 设置下达到 92.7% 的准确率，表明小型开源模型具备强大的少样本泛化能力。
• GPT-4 与开源模型在 SecQA v2 上的性能差距凸显了领域特定微调的必要性，也强调了针对安全推理进行基准测试的重要性。