[论文解读] Understanding the performance gap between online and offline alignment algorithms

Yunhao Tang, Daniel Guo+9 more|arXiv (Cornell University)|May 14, 2024

Genomics and Phylogenetic StudiesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文研究了为何在线从人类反馈中强化学习（RLHF）在大语言模型对齐任务中优于离线对齐方法，尽管后者计算成本更低。通过受控的消融实验，研究识别出在线方法在生成性能方面表现更优的关键因素是在线策略数据生成，揭示了判别能力与生成能力之间存在根本性权衡，而离线算法无法解决这一问题。

ABSTRACT

Reinforcement learning from human feedback (RLHF) is the canonical framework for large language model alignment. However, rising popularity in offline alignment algorithms challenge the need for on-policy sampling in RLHF. Within the context of reward over-optimization, we start with an opening set of experiments that demonstrate the clear advantage of online methods over offline methods. This prompts us to investigate the causes to the performance discrepancy through a series of carefully designed experimental ablations. We show empirically that hypotheses such as offline data coverage and data quality by itself cannot convincingly explain the performance difference. We also find that while offline algorithms train policy to become good at pairwise classification, it is worse at generations; in the meantime the policies trained by online algorithms are good at generations while worse at pairwise classification. This hints at a unique interplay between discriminative and generative capabilities, which is greatly impacted by the sampling process. Lastly, we observe that the performance discrepancy persists for both contrastive and non-contrastive loss functions, and appears not to be addressed by simply scaling up policy networks. Taken together, our study sheds light on the pivotal role of on-policy sampling in AI alignment, and hints at certain fundamental challenges of offline alignment algorithms.

研究动机与目标

• 探究大语言模型对齐中在线与离线对齐算法性能差距的根本原因。
• 评估数据覆盖范围、数据质量、优化动态、损失函数或模型缩放是否能解释观察到的性能差异。
• 确定通过改进数据生成或架构缩放，离线算法是否能与在线方法达到性能相当。
• 理解策略优化中判别能力（成对分类）与生成能力（文本生成）之间的相互作用。

提出的方法

• 使用RLHF策略与监督微调（SFT）策略之间的KL散度作为统一的预算度量，以公平比较在线与离线算法。
• 开展受控的消融实验，以检验与数据分布、质量、优化过程及损失函数相关的假设。
• 在相同KL预算约束下，将在线算法（如PPO）与离线算法（如DPO）在开源数据集上进行对比。
• 评估对比损失与非对比损失对性能差距的影响。
• 生成与初始策略分布接近的合成离线数据集，以模拟在线策略数据收集过程。
• 通过成对分类准确率（判别）和生成质量（生成）指标综合衡量性能。

实验结果

研究问题

• RQ1 为何在相同KL预算下，在线对齐算法始终优于离线算法？
• RQ2 数据覆盖范围与数据质量在多大程度上能解释在线与离线方法之间的性能差距？
• RQ3 离线策略优化中是否存在判别能力与生成能力之间的根本性权衡？
• RQ4 该性能差距是否在不同损失函数（对比与非对比）及模型缩放下依然存在？
• RQ5 通过生成模仿在线策略分布的数据，能否提升离线算法的性能？

主要发现

• 在所有KL预算水平下，在线算法在生成与分类任务上均持续优于离线算法，且在峰值性能上表现更优。
• 仅靠离线数据的覆盖范围与质量无法解释性能差距，即使在高质量、高覆盖的数据集上，差距依然存在。
• 离线策略在成对分类任务上表现更优，但在文本生成方面显著更差，表明判别与生成性能之间存在显著脱节。
• 在线策略因采用在线策略采样，能持续调整数据分布并提升生成质量，而静态离线数据中缺乏这一机制，这是其生成质量更优的关键原因。
• 该性能差距在对比与非对比损失函数下均持续存在，表明其并非特定优化目标的产物。
• 扩大策略网络的规模无法弥合性能差距，表明仅靠架构容量不足以克服离线学习的局限性。