[论文解读] Rewarded soups: towards Pareto-optimal alignment by interpolating weights fine-tuned on diverse rewards

Alexandre Ramé, Guillaume Couairon+5 more|arXiv (Cornell University)|Jun 7, 2023

Topic Modeling被引用 6

一句话总结

本文提出Rewarded Soup（RS），一种多策略方法，通过在多样化代理奖励上微调单一基础模型，并线性插值得到的权重，从而提升模型对齐效果。该方法在文本、视觉和控制任务中均实现了多目标上的Pareto最优性能，其计算成本远低于多目标强化学习（MORL），且表现相当或更优。

ABSTRACT

Foundation models are first pre-trained on vast unsupervised datasets and then fine-tuned on labeled data. Reinforcement learning, notably from human feedback (RLHF), can further align the network with the intended usage. Yet the imperfections in the proxy reward may hinder the training and lead to suboptimal results; the diversity of objectives in real-world tasks and human opinions exacerbate the issue. This paper proposes embracing the heterogeneity of diverse rewards by following a multi-policy strategy. Rather than focusing on a single a priori reward, we aim for Pareto-optimal generalization across the entire space of preferences. To this end, we propose rewarded soup, first specializing multiple networks independently (one for each proxy reward) and then interpolating their weights linearly. This succeeds empirically because we show that the weights remain linearly connected when fine-tuned on diverse rewards from a shared pre-trained initialization. We demonstrate the effectiveness of our approach for text-to-text (summarization, Q&A, helpful assistant, review), text-image (image captioning, text-to-image generation, visual grounding, VQA), and control (locomotion) tasks. We hope to enhance the alignment of deep models, and how they interact with the world in all its diversity.

研究动机与目标

• 解决基础模型与多样化、冲突的人类偏好及代理奖励对齐的挑战。
• 克服单一策略对齐方法的局限性，后者倾向于优先考虑共识，可能忽视多样化观点。
• 开发一种可扩展、高效的多目标强化学习（MORL）替代方案，避免为每种奖励权重组合训练多个模型。
• 证明通过独立微调模型得到的权重进行线性插值，可在多样化目标上保持性能。
• 通过插值系数实现运行时动态选择模型行为，提升对用户偏好的适应能力。

提出的方法

• 在N个不同的代理奖励上独立微调一个共享的预训练基础模型，生成N个不同的策略头。
• 在权重空间中对最终训练得到的权重进行线性插值：θ_λ = λ·θ₁ + (1−λ)·θ₂，其中λ ∈ [0,1] 在推理时选择。
• 利用经验观察：当从同一预训练检查点初始化时，微调后的权重在多样化奖励下仍保持线性连接。
• 使用基于REINFORCE的强化学习方法对代理奖励进行微调，包括人类偏好模型和自动指标（如BLEU、METEOR）。
• 在微调过程中使用与预训练一致的归一化和观测统计量，以确保权重插值的稳定性。
• 在推理时选择最优插值系数λ，以平衡竞争性奖励之间的权衡，实现Pareto最优行为。

实验结果

研究问题

• RQ1 在多样化代理奖励上微调得到的模型权重，其线性插值是否能在多项目标上实现Pareto最优性能？
• RQ2 与多目标强化学习（MORL）相比，Rewarded Soup在准确率和计算成本方面的表现如何？
• RQ3 微调后权重的线性连通性是否在摘要、视觉问答（VQA）、图像字幕和运动控制等多样化任务中成立？
• RQ4 Rewarded Soup能否通过插值实现在推理时的动态行为适应，实现运行时偏好选择？
• RQ5 该方法是否在处理冲突的人类偏好方面优于标准监督微调和单策略RLHF？

主要发现

• 在摘要任务中，Rewarded Soup的性能与多目标强化学习（MORL）相当，但训练成本仅为MORL的极小部分，实现了Pareto前沿。
• 在文本到文本任务（如摘要和问答）中，RS结合两个奖励模型（如简洁性和流畅性）可实现平滑的权衡曲线，最优λ选择在各项指标上均表现更优。
• 在视觉任务（如VQA和图像字幕）中，RS使用BLEU和METEOR奖励的性能优于单个微调模型和交叉熵基线，表现出更强的泛化能力。
• 在连续控制（运动控制）任务中，RS结合“激进型”（仅速度）和“谨慎型”（速度减去动作代价）奖励，生成的运动比任一独立策略更平滑、更鲁棒。
• 该方法具有跨模态泛化能力：在纯文本、图文联合和控制任务中均有效，展现出超越单一领域的广泛应用潜力。
• 从独立微调模型中插值得到的权重线性组合，可在多样化目标上保持性能，验证了权重空间中线性连通性的核心假设。