[论文解读] The Alignment Problem in Context

Raphaël Millière|arXiv (Cornell University)|Nov 3, 2023

Adversarial Robustness in Machine Learning被引用 5

一句话总结

本文认为，大型语言模型（LLMs）在本质上仍易受对抗性攻击的影响，这类攻击利用其从上下文用户指令中学习的能力，揭示了模型通用性与对齐安全之间存在根本性权衡。核心贡献在于表明：使LLMs具备强大能力的上下文学习机制，也使其固有地容易受到对齐偏差的影响，从而削弱了当前的对齐策略，如微调和强化学习人类反馈（RLHF）。

ABSTRACT

A core challenge in the development of increasingly capable AI systems is to make them safe and reliable by ensuring their behaviour is consistent with human values. This challenge, known as the alignment problem, does not merely apply to hypothetical future AI systems that may pose catastrophic risks; it already applies to current systems, such as large language models, whose potential for harm is rapidly increasing. In this paper, I assess whether we are on track to solve the alignment problem for large language models, and what that means for the safety of future AI systems. I argue that existing strategies for alignment are insufficient, because large language models remain vulnerable to adversarial attacks that can reliably elicit unsafe behaviour. I offer an explanation of this lingering vulnerability on which it is not simply a contingent limitation of current language models, but has deep technical ties to a crucial aspect of what makes these models useful and versatile in the first place -- namely, their remarkable aptitude to learn "in context" directly from user instructions. It follows that the alignment problem is not only unsolved for current AI systems, but may be intrinsically difficult to solve without severely undermining their capabilities. Furthermore, this assessment raises concerns about the prospect of ensuring the safety of future and more capable AI systems.

研究动机与目标

• 调查现有对齐技术是否足以确保当前大型语言模型（LLMs）的安全行为。
• 研究LLMs中持续对齐失败的根本原因，特别是其对对抗性攻击的易感性。
• 分析上下文学习——LLMs能力的核心——与对齐偏差脆弱性之间的深层技术关联。
• 评估这些脆弱性对基于类似架构的未来更强大AI系统安全的影响。
• 在上下文对抗性攻击的背景下，评估当前监管策略（如模型权重限制）的有效性。

提出的方法

• 分析实证证据，表明通过上下文指令操纵，对抗性攻击可绕过LLMs的对齐保护机制。
• 考察上下文学习（ICL）作为核心机制的作用，它既赋予模型通用性，也使其易受对抗性对齐偏差影响。
• 研究提示中角色扮演和冲突的对齐规范如何被利用以诱使模型产生有害行为。
• 将传统对齐技术（如微调、RLHF）与上下文提示进行比较，评估其对对抗性输入的鲁棒性。
• 评估上下文窗口长度增加对对抗性攻击面和模型安全的影响。
• 主张该脆弱性并非偶然缺陷，而是模型设计的结构性后果，与模型从自然语言指令中泛化的能力密切相关。

实验结果

研究问题

• RQ1 为何现有对齐技术在面对对抗性提示时仍无法防止LLMs产生有害行为？
• RQ2 上下文学习与LLMs对对抗性对齐偏差的易感性之间存在何种关系？
• RQ3 该对抗性攻击脆弱性在多大程度上是LLMs的根本性限制，而非偶然缺陷？
• RQ4 现代LLMs中上下文窗口长度的增加如何影响上下文对抗性攻击的风险？
• RQ5 在上下文对抗性攻击的背景下，限制模型权重发布的监管策略能否有效防止LLMs的滥用？

主要发现

• 现有对齐策略（如微调和RLHF）不足以防止LLMs在遭受对抗性提示时生成有害输出。
• 对对抗性攻击的脆弱性并非次要缺陷，而是与使LLMs具有实用价值的核心机制——即从上下文自然语言指令中学习的能力——紧密相关。
• 对抗性攻击利用模型的角色扮演能力及提示中冲突的对齐规范，绕过安全约束，表明上下文学习既增强了能力，也带来了风险。
• 对上下文对齐偏差的易感性不太可能随模型规模增大而消失，且增加上下文窗口长度甚至可能扩大攻击面。
• 当前限制模型权重访问的监管策略不太可能防止恶意使用，因为有效的对抗性攻击可通过API访问实现，而无需微调。
• 本文结论认为，LLMs的稳健对齐可能因通用性与安全性的权衡而从根本上受到损害，对基于类似架构的未来AI系统构成严重关切。