[论文解读] On the Algorithmic Bias of Aligning Large Language Models with RLHF: Preference Collapse and Matching Regularization

Jiancong Xiao, Ziniu Li+5 more|arXiv (Cornell University)|May 26, 2024

Natural Language Processing Techniques被引用 4

一句话总结

本文识别出强化学习人类反馈（RLHF）中一种固有的算法偏差——由于基于KL的正则化导致偏好崩溃，从而边缘化了少数群体的偏好。为解决此问题，作者提出了一种新颖的偏好匹配（PM）RLHF方法，该方法基于常微分方程推导出的负对数概率正则化项，以平衡奖励最大化与响应多样性，在人类偏好对齐方面相比标准RLHF提升了29–41%。

ABSTRACT

Accurately aligning large language models (LLMs) with human preferences is crucial for informing fair, economically sound, and statistically efficient decision-making processes. However, we argue that the predominant approach for aligning LLMs with human preferences through a reward model -- reinforcement learning from human feedback (RLHF) -- suffers from an inherent algorithmic bias due to its Kullback--Leibler-based regularization in optimization. In extreme cases, this bias could lead to a phenomenon we term preference collapse, where minority preferences are virtually disregarded. To mitigate this algorithmic bias, we introduce preference matching (PM) RLHF, a novel approach that provably aligns LLMs with the preference distribution of the reward model under the Bradley--Terry--Luce/Plackett--Luce model. Central to our approach is a PM regularizer that takes the form of the negative logarithm of the LLM's policy probability distribution over responses, which helps the LLM balance response diversification and reward maximization. Notably, we obtain this regularizer by solving an ordinary differential equation that is necessary for the PM property. For practical implementation, we introduce a conditional variant of PM RLHF that is tailored to natural language generation. Finally, we empirically validate the effectiveness of conditional PM RLHF through experiments on the OPT and Llama-family models, demonstrating a 29% to 41% improvement in alignment with human preferences, as measured by a certain metric, compared to standard RLHF.

研究动机与目标

• 识别并解决标准RLHF中源于KL散度正则化的固有算法偏差。
• 缓解偏好崩溃问题，即由于参考模型偏差导致少数人类偏好被不成比例地忽略。
• 开发一种可证明对齐的方法，使大语言模型的偏好分布与奖励模型在Bradley–Terry–Luce/Plackett–Luce模型下的偏好分布相匹配。
• 设计PM RLHF的条件变体，以在文本生成过程中保持自然语言流畅性。
• 通过实证验证该方法在多种模型和设置下对齐大语言模型与人类偏好的优越性。

提出的方法

• 提出一种基于求解常微分方程的偏好匹配（PM）正则化项，该方程是PL模型下实现精确偏好匹配的必要条件。
• 将PM正则化项形式化为大语言模型在响应上的策略概率分布的负对数，作为促进多样性的正则化项。
• 引入PM RLHF的条件变体，通过过滤掉参考模型中低概率的响应，以保持生成文本的自然性。
• 将PM正则化项整合到RLHF目标函数中，以平衡奖励最大化与对奖励模型偏好分布的忠实表示。
• 使用广义Plackett-Luce模型形式化偏好分布，以确保对齐的理论保证。
• 在OPT-1.3B和Llama-2-7B模型上实现该方法，并与标准KL正则化RLHF进行性能比较。

实验结果

研究问题

• RQ1 标准RLHF中基于KL的正则化是否会导致算法偏差，从而引发偏好崩溃，尤其是对少数偏好群体？
• RQ2 能否设计一种正则化方法，可证明地使大语言模型与奖励模型的完整偏好分布对齐，而不仅限于模式？
• RQ3 在RLHF对齐中，如何在不牺牲奖励最大化的情况下保持响应多样性？
• RQ4 PM RLHF的条件变体是否能在提升偏好对齐的同时保持自然语言流畅性？
• RQ5 PM RLHF在多大程度上优于标准RLHF，在不同偏好分布下实现对大语言模型与人类偏好的对齐？

主要发现

• 条件PM RLHF在OPT-1.3B模型上相比标准RLHF，通过偏好差异度量，实现了29–41%的偏好对齐性能提升。
• PM正则化项有效减少了偏好崩溃，PM差异从KL RLHF的1.1555降低至β=0.1、α=0.5时的0.6839。
• 即使在高偏好多样性情况下（β=1.0），PM RLHF仍保持更低的PM差异（α=0.5时为0.8865），而KL RLHF为1.1737。
• 该方法提升了响应多样性，表现为PM RLHF设置下熵值更高且平均响应长度更长。
• 条件PM RLHF变体成功平衡了自然性与对齐性，避免了标准PM RLHF中常见的不自然输出。
• 理论分析证实，PM正则化项确保了在PL模型下，大语言模型策略与奖励模型的偏好分布相匹配。