[论文解读] On Extracting Specialized Code Abilities from Large Language Models: A Feasibility Study

Zongjie Li, Chaozheng Wang+6 more|arXiv (Cornell University)|Mar 6, 2023

Software Engineering Research被引用 6

一句话总结

本文研究了通过使用中等规模主干模型进行模仿攻击，从大型语言模型（LLMs）中提取专业化代码生成能力（如代码合成与翻译）的可行性。通过采用多种查询策略（零样本、上下文学习、思维链）及响应验证，作者证明了本地训练的模型能够以高精度有效复制目标LLM的代码相关行为，揭示了模型提取的一种实际威胁面。

ABSTRACT

Recent advances in large language models (LLMs) significantly boost their usage in software engineering. However, training a well-performing LLM demands a substantial workforce for data collection and annotation. Moreover, training datasets may be proprietary or partially open, and the process often requires a costly GPU cluster. The intellectual property value of commercial LLMs makes them attractive targets for imitation attacks, but creating an imitation model with comparable parameters still incurs high costs. This motivates us to explore a practical and novel direction: slicing commercial black-box LLMs using medium-sized backbone models. In this paper, we explore the feasibility of launching imitation attacks on LLMs to extract their specialized code abilities, such as"code synthesis" and "code translation." We systematically investigate the effectiveness of launching code ability extraction attacks under different code-related tasks with multiple query schemes, including zero-shot, in-context, and Chain-of-Thought. We also design response checks to refine the outputs, leading to an effective imitation training process. Our results show promising outcomes, demonstrating that with a reasonable number of queries, attackers can train a medium-sized backbone model to replicate specialized code behaviors similar to the target LLMs. We summarize our findings and insights to help researchers better understand the threats posed by imitation attacks, including revealing a practical attack surface for generating adversarial code examples against LLMs.

研究动机与目标

• 探究商业LLMs的专用代码能力是否可通过模仿攻击被提取。
• 评估不同查询方案（零样本、上下文学习、思维链）在诱发目标LLM行为以供模仿方面的有效性。
• 设计并应用响应检查机制，以优化输出并提升模仿模型的性能。
• 评估所提取能力在下游任务中的影响，包括对抗性样本生成。
• 为LLM的安全风险提供洞见，并为水印等缓解策略提供建议。

提出的方法

• 设计一种查询生成框架，利用零样本、上下文学习和思维链提示，从目标LLM中诱发与代码相关的响应。
• 实施响应检查机制，以过滤和优化输出，确保为模仿模型提供更高质量的训练数据。
• 在收集到的响应上训练一个中等规模的主干模型，以模仿目标LLM的代码生成行为。
• 使用CodeBLEU分数和pass@k指标，在代码合成、翻译和补全任务上评估模仿模型的性能。
• 将所提取的模型应用于生成对抗性代码示例，证明其实际应用价值。
• 探索水印作为此类提取攻击潜在缓解技术的作用。

实验结果

研究问题

• RQ1 中等规模模型能否通过基于查询的模仿攻击，成功模仿商业LLMs的专用代码能力？
• RQ2 不同的提示策略（零样本、上下文学习、思维链）如何影响所提取代码能力的质量与可迁移性？
• RQ3 响应检查在多大程度上能提升模仿模型输出的保真度？
• RQ4 所提取的模型能否在下游任务（如对抗性示例生成）中有效应用？
• RQ5 该攻击面对模型知识产权保护具有何种影响？

主要发现

• 模仿模型在代码合成、翻译和补全任务上，使用合理数量的查询，其性能与目标LLM相当。
• 思维链和上下文学习提示策略显著提升了所提取代码的质量与正确性，优于零样本提示。
• 响应检查有效过滤了低质量或错误的输出，提升了训练数据质量，从而增强了模型性能。
• 所提取的模型成功生成了对抗性代码示例，证明其在恶意应用中的实用性。
• 本研究揭示了一种实际且成本效益高的攻击面，可用于从黑箱LLMs中提取专用代码能力。
• 水印被识别为一种有前景但尚未被充分利用的防御机制，提示在LLM部署中亟需更强的知识产权保护策略。