[论文解读] Steer2Edit: From Activation Steering to Component-Level Editing

Chung-En Sun, Ge Yan+2 more|arXiv (Cornell University)|Feb 10, 2026

Explainable Artificial Intelligence (XAI)被引用 0

一句话总结

Steer2Edit 将推理时的 steering 向量转化为分量级的一阶权重编辑，从而在不需要训练且保持架构的前提下，对 LLM 行为进行可控化，提升属性–效用的权衡。

ABSTRACT

Steering methods influence Large Language Model behavior by identifying semantic directions in hidden representations, but are typically realized through inference-time activation interventions that apply a fixed, global modification to the model's internal states. While effective, such interventions often induce unfavorable attribute-utility trade-offs under strong control, as they ignore the fact that many behaviors are governed by a small and heterogeneous subset of model components. We propose Steer2Edit, a theoretically grounded, training-free framework that transforms steering vectors from inference-time control signals into diagnostic signals for component-level rank-1 weight editing. Instead of uniformly injecting a steering direction during generation, Steer2Edit selectively redistributes behavioral influence across individual attention heads and MLP neurons, yielding interpretable edits that preserve the standard forward pass and remain compatible with optimized parallel inference. Across safety alignment, hallucination mitigation, and reasoning efficiency, Steer2Edit consistently achieves more favorable attribute-utility trade-offs: at matched downstream performance, it improves safety by up to 17.2%, increases truthfulness by 9.8%, and reduces reasoning length by 12.2% on average. Overall, Steer2Edit provides a principled bridge between representation steering and weight editing by translating steering signals into interpretable, training-free parameter updates. Our code is available at https://github.com/Trustworthy-ML-Lab/Steer2Edit

研究动机与目标

• 在不进行完全微调或重新训练的情况下，推动对 LLM 行为的轻量级控制。
• 提供一种将 steering 向量翻译为分量级参数编辑的原理性方法。
• 实现可选择、可解释的编辑，保留标准前向传播并兼容优化的推理。
• 在安全性、真实性与推理效率之间展示改进的属性–效用权衡。

提出的方法

• 将 steering 向量表示为诊断信号，用以识别与目标属性对齐的注意力头和 MLP 神经元。
• 将更新约束在可编辑分量的秩-1 编辑上（注意力头输出和 MLP 下投影）。
• 推导编辑方向：在输出空间沿 steering 向量 v_i 设定方向 u_i；在输入空间等比例设定方向 k_i 为 W_i^T v_i；将编辑参数化为 Delta W_i = lambda_i u_i k_i^T。
• 通过 Elastic-Net 目标函数分配编辑幅度 lambda_i，促进稀疏性并控制整体编辑强度，使用分量重要性 g_i = cos(v_i, W_i μ_i)。
• 给出一个闭式的、单步更新 Delta W_i = sign(g_i) * max(|g_i| - rho*alpha, 0) / (rho*(1 - alpha)) * (hat{v}_i hat{k}_i^T)。
• 保持训练无关且与标准前向传播和优化后的推理管线兼容的架构保持工作流。

实验结果

研究问题

• RQ1 是否可以将为目标属性训练的 steering 向量重新用于诊断模型内部的分量级影响？
• RQ2 我们是否可以将 steering 信号转换为局部的秩-1 权重编辑，以通过特定头/神经元有选择地放大或抑制行为？
• RQ3 与推理时的激活控制相比，分量级编辑在安全性、真实性和效率任务上是否能取得更好的属性–效用权衡？
• RQ4 得到的编辑框架是否实现无训练、闭合式，并在何种意义上可解释为哪些组件介导了该行为？

主要发现

• Steer2Edit 在安全性、真实性和效率任务上相对于激活式控制实现了更优的属性–效用权衡。
• 编辑是稀疏的，集中在少数注意力头（对安全性和真实性尤为关键）或分布在 MLP 神经元上（用于效率）。
• 该框架提供了可解释的分量级编辑，揭示了网络中哪些部分决定特定行为。
• Steer2Edit 保留原始架构和前向传播，使其能够与优化的并行推理兼容。
• 在匹配的下游性能下，定量收益包括安全性提升高达 17.2%、真实性提升 9.8%、推理长度平均缩短 12.2%。