[论文解读] State-Dependent Safety Failures in Multi-Turn Language Model Interaction

Pengcheng Li, Jie Zhang (64655)+6 more|arXiv (Cornell University)|Mar 15, 2026

Topic Modeling被引用 0

一句话总结

STAR 表明在结构化多轮互动下，安全对齐可能崩溃，暴露随状态变化的安全边界，而静态单轮测试无法发现。它将对话历史视为一个会演变的状态，能够通过协同轮次跨越安全边界。

ABSTRACT

Safety alignment in large language models is typically evaluated under isolated queries, yet real-world use is inherently multi-turn. Although multi-turn jailbreaks are empirically effective, the structure of conversational safety failure remains insufficiently understood. In this work, we study safety failures from a state-space perspective and show that many multi-turn failures arise from structured contextual state evolution rather than isolated prompt vulnerabilities. We introduce STAR, a state-oriented diagnostic framework that treats dialogue history as a state transition operator and enables controlled analysis of safety behavior along interaction trajectories. Rather than optimizing attack strength, STAR provides a principled probe of how aligned models traverse the safety boundary under autoregressive conditioning. Across multiple frontier language models, we find that systems that appear robust under static evaluation can undergo rapid and reproducible safety collapse under structured multi-turn interaction. Mechanistic analysis reveals monotonic drift away from refusal-related representations and abrupt phase transitions induced by role-conditioned context. Together, these findings motivate viewing language model safety as a dynamic, state-dependent process defined over conversational trajectories.

研究动机与目标

• 将安全性作为随对话轨迹动态、状态相关的过程来提供动机。
• 研究对话历史如何作为一个状态转移算子，影响拒绝行为。
• 引入 STAR，将状态初始化与状态演化分离并诊断安全边界穿越。
• 证明在静态鲁棒性下，前沿模型在多轮交互中仍可能恶化。

提出的方法

• 将 STAR（State-oriented Role-playing framework，面向状态的角色扮演框架）作为诊断工具，而非攻击，用于分析对话轮次中的安全性。
• 将交互建模为两阶段过程：状态初始化（软化、角色生成、结构化轮次）与状态演化（基于角色的轮次与历史干预）。
• 使用辅模生成角色背景与后续查询，且由评判者（GPT-4o）对每轮的安全性进行打分。
• 以潜在状态 z_t 和状态空间中的安全边界来解释安全行为，分析轨迹动力学 J(q, r_t)。
• 通过自适应重试和轨迹控制，在各轮之间维持或检验轨迹稳定性。
• 通过消融实验识别初始化、历史累积和动量控制对安全结果的因果贡献。

实验结果

研究问题

• RQ1 静态单轮提示在受控多轮交互下是否仍然鲁棒？
• RQ2 状态初始化与基于历史的状态演化如何促进越过安全边界？
• RQ3 在 LLM 的状态相关安全失效中有哪些内部表征动态？
• RQ4 轨迹导向分析是否能揭示在静态评估中不可见的因果、路径相关因素？
• RQ5 STAR 下前沿模型的安全失效是否可在不同数据集与模型家族中泛化？

主要发现

Evaluation Regime	GPT-4o SFR (%)	Claude 3.5 Sonnet SFR (%)	Gemini 2.0-Flash SFR (%)	LLaMA-3-8B-IT SFR (%)	LLaMA-3-70B-IT SFR (%)
Static Context Evaluation (Single-turn)	12.5	3.0	–	34.5	17.0
PAIR (Chao et al., 2025)	39.0	3.0	–	18.7	36.0
CodeAttack (Jha and Reddy, 2023)	70.5	39.5	–	46.0	66.0
Contextual Trajectory Evaluation (Multi-turn) – RACE (Ying et al., 2025)	82.8	–	–	–	–
Contextual Trajectory Evaluation (Multi-turn) – CoA (Yang et al., 2024b)	17.5	3.4	–	25.5	18.8
Contextual Trajectory Evaluation (Multi-turn) – Crescendo (Russinovich et al., 2024)	46.0	50.0	–	60.0	62.0
Contextual Trajectory Evaluation (Multi-turn) – ActorAttack (Ren et al., 2024)	84.5	66.5	42.1	79.0	85.0
Contextual Trajectory Evaluation (Multi-turn) – X-teaming (Rahman et al., 2025)	94.3	67.9	87.4	85.5	84.9
STAR (Ours)	94.5	74.0	96.1	89.0	85.5

• 静态的单轮安全在所测试的前沿模型中似乎鲁棒。
• 在 STAR 的多轮轨迹下，安全失效率显著上升（如 GPT-4o 94.5%，Gemini 2.0-Flash 96.1%）。
• STAR 的 SFR 高于以往多轮基线，且展示在 HarmBench 与 JailbreakBench 上可泛化的状态相关安全崩溃。
• 消融显示状态初始化与历史累积对安全崩溃至关重要，移除历史累积时影响尤为显著。
• 内部表征显示对拒绝方向的单调漂移；STAR 引发急剧的基于角色的转变和两阶段的潜在状态轨迹。
• 历史是一个因果状态算子：在历史中打乱、截断或注入拒绝会显著影响合规性，表明存在路径依赖。