[论文解读] On the Safety of Open-Sourced Large Language Models: Does Alignment Really Prevent Them From Being Misused?

Hangfan Zhang, Zhimeng Guo+6 more|arXiv (Cornell University)|Oct 2, 2023

Topic Modeling被引用 5

一句话总结

本文提出 ProMan，一种模型劫持攻击方法，通过操纵开源对齐大型语言模型（LLMs）在文本生成过程中的概率分布，使其在无需复杂提示工程的情况下生成有害或私密内容。该方法成功绕过了四种 LLM 的对齐防护机制，表明当前的对齐技术尚不足以防止滥用。

ABSTRACT

Large Language Models (LLMs) have achieved unprecedented performance in Natural Language Generation (NLG) tasks. However, many existing studies have shown that they could be misused to generate undesired content. In response, before releasing LLMs for public access, model developers usually align those language models through Supervised Fine-Tuning (SFT) or Reinforcement Learning with Human Feedback (RLHF). Consequently, those aligned large language models refuse to generate undesired content when facing potentially harmful/unethical requests. A natural question is "could alignment really prevent those open-sourced large language models from being misused to generate undesired content?''. In this work, we provide a negative answer to this question. In particular, we show those open-sourced, aligned large language models could be easily misguided to generate undesired content without heavy computations or careful prompt designs. Our key idea is to directly manipulate the generation process of open-sourced LLMs to misguide it to generate undesired content including harmful or biased information and even private data. We evaluate our method on 4 open-sourced LLMs accessible publicly and our finding highlights the need for more advanced mitigation strategies for open-sourced LLMs.

研究动机与目标

• 探究开源 LLM 中的对齐机制是否真正能防止生成有害或私密内容的滥用。
• 开发一种实用的攻击方法，利用开源 LLM 的生成过程，无需大量计算或提示工程。
• 证明即使经过对齐的 LLM，仍可通过直接操纵概率分布而被滥用。
• 提出预训练和微调阶段的潜在对策，以缓解此类模型劫持威胁。

提出的方法

• ProMan 在开源 LLM 的自回归生成过程中直接操纵标记的概率分布。
• 它强制模型在恶意提示的响应开头生成特定的肯定性标记（例如，'Absolutely! Here’s'）。
• 该攻击使用可微分的优化过程，调整目标标记的 logits，使其概率提升至接近确定。
• 一个关键超参数 δ 控制概率偏移的幅度，实验中使用 δ = 200 以确保可靠的目标标记生成。
• 该方法针对生成的前几个输出标记，以‘解锁’模型生成有害或私密内容的能力。
• 该方法不修改模型权重，因此是一种轻量级、后对齐阶段的攻击。

实验结果

研究问题

• RQ1 即使采用了 SFT 和 RLHF 等对齐技术，开源对齐 LLM 是否仍可能被滥用以生成有害内容？
• RQ2 是否可以通过直接操纵生成过程而非提示工程来绕过对齐防护？
• RQ3 ProMan 在从多个开源 LLM 中诱导出私密数据或有害内容方面的有效性如何？
• RQ4 当前对齐策略在防范模型劫持攻击方面存在哪些局限性？
• RQ5 哪些预训练或微调阶段的对策可缓解此类攻击？

主要发现

• 在请求私密数据时，ProMan 在 Vicuna、Llama-2-LoRA 和 Marcoroni 上实现了 100% 的攻击成功率（ASR-P），在 ChatGLM 上为 95%。
• 在生成有害内容方面，ProMan 在 Vicuna 上的攻击成功率为 91%，在 Llama-2-LoRA 上为 95%，表明其在各类模型中均表现出强大效果。
• 在所有评估的 LLM 中，ProMan 均优于基于启发式和优化的基线方法，具有更高的 ASR-P 和 ASR-A 分数。
• 该方法成功生成了真实且真实的私密数据，如电话号码和电子邮箱地址，经正则表达式匹配验证。
• 当前对齐机制不足以防止隐私泄露，证据显示私密数据的 ASR-A 高于有害内容。
• 本研究揭示，通过概率操纵进行模型劫持对开源 LLM 安全构成严重且被低估的威胁。