[论文解读] Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data

Fahim Tajwar, Anikait Singh+7 more|arXiv (Cornell University)|Apr 22, 2024

Efficiency Analysis Using DEADecision Sciences被引用 3

一句话总结

本文表明，大型语言模型（LLMs）的偏好微调在使用次优的、基于策略的响应和负梯度目标时可获得显著收益，这些方法能够更快、更有效地将概率质量重新分配至高奖励响应。作者提出了“模式搜索”目标的概念——统一于反向KL散度之下——其性能优于标准最大似然和离线监督方法，尤其是在高奖励响应位于参考策略低概率区域时表现更优。

ABSTRACT

Learning from preference labels plays a crucial role in fine-tuning large language models. There are several distinct approaches for preference fine-tuning, including supervised learning, on-policy reinforcement learning (RL), and contrastive learning. Different methods come with different implementation tradeoffs and performance differences, and existing empirical findings present different conclusions, for instance, some results show that online RL is quite important to attain good fine-tuning results, while others find (offline) contrastive or even purely supervised methods sufficient. This raises a natural question: what kind of approaches are important for fine-tuning with preference data and why? In this paper, we answer this question by performing a rigorous analysis of a number of fine-tuning techniques on didactic and full-scale LLM problems. Our main finding is that, in general, approaches that use on-policy sampling or attempt to push down the likelihood on certain responses (i.e., employ a "negative gradient") outperform offline and maximum likelihood objectives. We conceptualize our insights and unify methods that use on-policy sampling or negative gradient under a notion of mode-seeking objectives for categorical distributions. Mode-seeking objectives are able to alter probability mass on specific bins of a categorical distribution at a fast rate compared to maximum likelihood, allowing them to relocate masses across bins more effectively. Our analysis prescribes actionable insights for preference fine-tuning of LLMs and informs how data should be collected for maximal improvement.

研究动机与目标

• 解决LLM社区中关于偏好微调是否需要基于策略的强化学习或离线方法的困惑。
• 探究基于策略的数据收集和负梯度目标在提升微调性能中的作用。
• 将基于策略的强化学习和对比学习等多种方法统一于一个共同的理论框架之下。
• 识别在何种情况下以及为何基于策略的采样与负梯度在偏好对齐中特别有效。
• 为LLM偏好微调中的数据收集与优化提供可操作的见解。

提出的方法

• 作者设计了教学性老虎机问题、合成LLM问题，并在AlpacaFarm和UltraFeedback数据集上进行了大规模LLM实验。
• 在受控的覆盖范围和几何条件下，对比了监督学习、对比学习和基于策略的强化学习等方法。
• 提出基于反向KL散度的理论框架，解释为何负梯度目标在重新分配概率质量方面更为有效。
• 将“模式搜索”行为形式化为快速将概率质量集中于高奖励响应区间的潜力，与最大似然目标的“模式覆盖”行为形成对比。
• 分析前向与反向KL散度的行为，表明反向KL优先关注当前似然更高的区域，从而实现更快的重加权。
• 通过实证验证表明，基于策略的采样与负梯度目标具有互补性，尤其在高奖励响应在参考策略下稀少时尤为关键。

实验结果

研究问题

• RQ1 在何种情况下基于策略的采样对有效偏好微调是必要的，而在何种情况下离线方法已足够？
• RQ2 为何采用负梯度的方法（如对比学习或强化学习目标）优于使用最大似然的标准监督微调？
• RQ3 参考策略与真实奖励峰值之间的几何关系如何影响方法性能？
• RQ4 是否存在一个统一的原理，能够解释基于策略的强化学习与对比学习在偏好微调中成功的原因？
• RQ5 高奖励响应在参考策略下的初始似然度在多大程度上决定了不同微调策略的有效性？

主要发现

• 当高奖励响应位于参考策略的低概率区域时，基于策略的采样能显著提升性能，因为它能直接探索这些区域。
• 负梯度目标（如对比学习或基于策略的强化学习中的目标）通过更快地将概率质量重新分配至高奖励响应，优于最大似然和离线监督方法。
• 基于策略的采样与负梯度的结合提供了互补优势，尤其在偏好数据远离参考策略时更为显著。
• 通过反向KL散度诱导出模式搜索行为的方法，能比模式覆盖型目标更快地将概率质量集中于少数高奖励响应上。
• 即使在完整数据覆盖的情况下，监督微调方法如Pref-FT和Binary Feed-ME也未能有效将质量从低奖励响应转移到高奖励响应。
• 理论分析表明，反向KL优先关注当前似然更高的区域，使其在单步内实现概率质量重加权更加高效。