[论文解读] PAFT: A Parallel Training Paradigm for Effective LLM Fine-Tuning

Shiva Kumar Pentyala, Zhichao Wang+7 more|arXiv (Cornell University)|Jun 25, 2024

Advanced Materials Characterization Techniques被引用 4

一句话总结

PAFT 提出了一种并行训练范式，该范式独立地对同一预训练大语言模型（LLM）分别执行监督微调（SFT）和偏好对齐（例如 DPO），然后通过参数融合合并结果模型。通过在 SFT 中应用 L1 正则化以诱导稀疏性，PAFT 减少了合并过程中的干扰，实现了最先进（SOTA）性能——在 HuggingFace 开源 LLM 排行榜上，7B 模型类别平均得分达到 0.6524，排名第一。

ABSTRACT

Large language models (LLMs) have shown remarkable abilities in diverse natural language processing (NLP) tasks. The LLMs generally undergo supervised fine-tuning (SFT) followed by preference alignment to be usable in downstream applications. However, this sequential training pipeline leads to alignment tax that degrades the LLM performance. This paper introduces PAFT, a new PArallel training paradigm for effective LLM Fine-Tuning, which independently performs SFT and preference alignment (e.g., DPO and ORPO, etc.) with the same pre-trained model on respective datasets. The model produced by SFT and the model from preference alignment are then merged into a final model by parameter fusing for use in downstream applications. This work reveals important findings that preference alignment like DPO naturally results in a sparse model while SFT leads to a natural dense model which needs to be sparsified for effective model merging. This paper introduces an effective interference resolution which reduces the redundancy by sparsifying the delta parameters. The LLM resulted from the new training paradigm achieved Rank #1 on the HuggingFace Open LLM Leaderboard. Comprehensive evaluation shows the effectiveness of the parallel training paradigm.

研究动机与目标

• 为解决大语言模型微调中顺序执行 SFT 后再进行偏好对齐所导致的对齐代价问题。
• 减少由于冗余 delta 参数引起的参数干扰而导致的模型合并过程中的性能下降。
• 通过在 SFT delta 参数中引入稀疏性，提升模型合并的有效性。
• 证明并行训练结合稀疏模型集成优于顺序训练和现有合并技术。
• 建立一个稳健且可泛化的框架，用于结合 SFT 和偏好对齐，实现在公开基准上的最先进性能。

提出的方法

• 提出一种并行训练范式（PAFT），分别在独立的数据集上独立训练一个用于 SFT 的模型和一个用于偏好对齐（如 DPO）的模型。
• 在 SFT 损失函数中施加 L1-范数惩罚，以隐式诱导 delta 参数（微调权重与预训练权重之间的差异）的稀疏性。
• 通过参数融合，利用来自 SFT 和偏好对齐的稀疏 delta 参数进行模型合并，以保留模型能力。
• 采用 TIES 和 Task Arithmetic 作为表现最佳的合并方法，其中 TIES 在 Mistral-7B 上表现更优。
• 通过在 HuggingFace 开源 LLM 排行榜和 AlpacaEval 基准上的全面评估验证该方法。
• 将基于 L1 的稀疏性方法与显式稀疏技术（如 DARE）进行比较，结果表明 L1 在性能和质量方面更优。

(a) Staged training

实验结果

研究问题

• RQ1 与顺序训练相比，并行训练 SFT 和偏好对齐是否能减少对齐代价？
• RQ2 在 SFT delta 参数中引入稀疏性是否能缓解模型合并过程中的干扰？
• RQ3 与显式稀疏技术（如 DARE）相比，L1 正则化是否在提升合并模型性能方面更有效？
• RQ4 在与 PAFT 结合时，哪种模型合并技术（如 TIES、Task Arithmetic）能取得最佳结果？
• RQ5 PAFT 是否能泛化到除 DPO 外的其他偏好对齐方法（如 ORPO）？

主要发现

• 在 HuggingFace 开源 LLM 排行榜上，PAFT 范式在 7B 模型类别中，六项任务的平均得分达到 0.6524，创下 SOTA 新纪录，位列 7B/8B 类别第一名。
• 经过 PAFT 微调的 70B 模型在 HuggingFace 开源 LLM 排行榜上获得全球排名第一，证明了其可扩展性和泛化能力。
• 与非稀疏 SFT 相比，采用 L1 正则化稀疏性的并行 SFT（Parallel SFT_spar se）在所有合并方法和基准上均表现更优。
• 在 SFT delta 参数中诱导稀疏性的 L1-范数方法，相比显式的 DARE 方法，效果更优且质量更高。
• TIES 和 Task Arithmetic 被确定为最有效的合并策略，其中 TIES 在 Mistral-7B 上表现最佳。
• DPO 和 ORPO 等偏好对齐方法均从 PAFT 中获益，证实了该框架在不同对齐技术间的泛化能力。

(b) Parallel training