[论文解读] Why Self-Rewarding Works: Theoretical Guarantees for Iterative Alignment of Language Models

Shi Fu, Yingjie Wang+3 more|arXiv (Cornell University)|Jan 30, 2026

Topic Modeling被引用 0

一句话总结

该论文为自奖励语言模型（SRLMs）提供了首个严格的理论保证，证明迭代自奖励可实现与可证明收敛速率的稳健对齐，并且最终性能对初始化不敏感。

ABSTRACT

Self-Rewarding Language Models (SRLMs) achieve notable success in iteratively improving alignment without external feedback. Yet, despite their striking empirical progress, the core mechanisms driving their capabilities remain unelucidated, leaving a critical gap in theoretical understanding. This paper provides the first rigorous theoretical guarantees for SRLMs. We first establish a lower bound that characterizes the fundamental limits of a single update step, revealing a critical dependence on the quality of the initial model. We then derive finite-sample error bounds for the full iterative paradigm, showing that performance improves at a rate of $\widetilde{\mathcal{O}}\left(1/\sqrt{n} ight)$ with sample size $n$. Crucially, our analysis reveals that the dependence on the initial model decays exponentially with the number of iterations $T$. This provides a formal explanation for why self-rewarding succeeds: it robustly overcomes poor initialization by steering the dynamics toward internal stability and consistency. Finally, we instantiate our theoretical framework for the linear softmax model class, yielding tailored guarantees that connect our high-level insights to practical model architectures.

研究动机与目标

• 推动在没有外部人工反馈的情况下实现语言模型的自主对齐的必要性。
• 刻画单步自奖励更新的基本局限性。
• 为多轮迭代自奖励对齐开发有限样本保证。
• 解释迭代更新通过何种机制克服糟糕的初始化。
• 在一个具体的线性 softmax 模型类中实现该框架，以将理论与实践连接起来。

提出的方法

• 将 SRLM 更新定义为由自奖励信号 r_t=log π_t(y|x) 驱动的算子 T_{r_t} 的组合。
• 引入策略条件数 κ_t 用以量化内部一致性和稳定性。
• 证明单步失败下界，显示对 κ_0 和样本量 n 的依赖性。
• 推导有限样本的迭代收敛性保证，显示每轮的收敛速率近似 O~(1/√n)。
• 通过 κ_t 的收缩，展示初始化影响随迭代呈指数衰减。
• 将该框架专门化到线性 softmax 模型以获得显式保证。

实验结果

研究问题

• RQ1 SRLMs 是否仅依靠自生成奖励且没有外部反馈就能实现可靠对齐？
• RQ2 单步自奖励更新的基本统计与条件数极限是什么？
• RQ3 迭代自奖励如何缓解糟糕初始化，有限样本保证是什么？
• RQ4 迭代更新产生稳定性和收敛性的机制是什么？
• RQ5 理论结果如何转化到线性 softmax 模型的结构中？

主要发现

• 单步 SRLM 更新对失败概率的下界依赖于初始策略条件数 κ_0 和样本量 n。
• 迭代自奖励会引起策略条件数的收缩，从而实现稳定化并提升对糟糕初始化的鲁棒性。
• 经过 T 轮后，该算法获得有限样本误差界，其衰减项随 T 指数收缩，整体速率接近 ~̃O(1/√n)。
• 若 T 足够大（与 κ_0 和 n 的对数级相关），初始化效应变得可忽略，达到 ~̃O(1/√n) 的收敛，且常数依赖于问题。
• 对于线性 softmax 模型，给出定制化界限，使用熵项替代 log|Π|，显示相同的定性行为，且对维度 d 具有明确依赖。
• 分析将学习动力学与推断行为联系起来，显示迭代自奖励如何在糟糕初始化下避免贪心解码失败。