[论文解读] RAIN: Your Language Models Can Align Themselves without Finetuning

Yuhui Li, Fangyun Wei+3 more|arXiv (Cornell University)|Sep 13, 2023

Topic Modeling被引用 7

一句话总结

RAIN 是一种新颖的仅推理方法，通过自我评估和可回溯的生成过程，使冻结的大规模语言模型在无需微调或外部数据的情况下，实现与人类偏好的自我对齐，在 LLaMA 30B 上于 HH 数据集上达到 97% 的无害性，同时保持帮助性，并在 TruthfulQA 上将真实性提升 5%。

ABSTRACT

Large language models (LLMs) often demonstrate inconsistencies with human preferences. Previous research typically gathered human preference data and then aligned the pre-trained models using reinforcement learning or instruction tuning, a.k.a. the finetuning step. In contrast, aligning frozen LLMs without requiring alignment data is more appealing. This work explores the potential of the latter setting. We discover that by integrating self-evaluation and rewind mechanisms, unaligned LLMs can directly produce responses consistent with human preferences via self-boosting. We introduce a novel inference method, Rewindable Auto-regressive INference (RAIN), that allows pre-trained LLMs to evaluate their own generation and use the evaluation results to guide rewind and generation for AI safety. Notably, RAIN operates without the need of extra data for model alignment and abstains from any training, gradient computation, or parameter updates. Experimental results evaluated by GPT-4 and humans demonstrate the effectiveness of RAIN: on the HH dataset, RAIN improves the harmlessness rate of LLaMA 30B from 82% of vanilla inference to 97%, while maintaining the helpfulness rate. On the TruthfulQA dataset, RAIN improves the truthfulness of the already-well-aligned LLaMA-2-chat 13B model by 5%.

研究动机与目标

• 在不进行微调、数据收集或参数更新的情况下，使大规模语言模型与人类偏好对齐。
• 解决现有对齐方法（如 RLHF 和 DPO）效率低下且成本高昂的问题，这些方法需要监督微调和奖励建模。
• 探索仅通过推理时机制，冻结的 LLM 是否能够实现自我对齐。
• 开发一种即插即用的推理方法，增强安全性与真实性，而无需修改模型权重。
• 证明自我评估与受控的生成回滚可优于随机采样或朴素拒绝采样。

提出的方法

• RAIN 引入了一种可回溯的自回归推理机制，根据自我评估在正向生成与反向回溯之间交替进行。
• 该方法在每一步生成后加入自我评估阶段，模型利用内部推理评估自身输出的质量。
• 基于自我评估结果，RAIN 触发对先前标记状态的回溯，并在更有希望的路径上重新生成，由启发式属性更新引导。
• 该搜索过程利用模型自身的评估结果，引导生成更安全、更有帮助、更真实的输出，避免随机采样。
• 该方法完全在推理阶段运行，无需梯度计算、参数更新，也不依赖外部奖励模型。
• 其行为类似于人类认知过程——在最终定稿前进行反思、评估与修改，而无需修改模型权重。

实验结果

研究问题

• RQ1 冻结的大规模语言模型是否能在不进行任何微调或外部对齐数据的情况下，实现与人类偏好的自我对齐？
• RQ2 推理过程中的自我评估是否能引导可回溯的生成过程，以提升安全性和帮助性？
• RQ3 与朴素拒绝采样（如重复采样并挑选）相比，RAIN 在样本效率和性能方面表现如何？
• RQ4 尽管存在潜在错误，自我评估的准确性在多大程度上能促进对齐结果的改善？
• RQ5 RAIN 是否能在不重新训练的情况下，提升像 LLaMA-2 70B 这类已对齐模型的安全性与真实性？

主要发现

• 在 HH 数据集上，RAIN 将 LLaMA 30B 的无害性率从原始模型的 82% 提升至 97%（由 GPT-4 评估），同时保持帮助性水平不变。
• 人工评估证实 RAIN 的有效性，其无害性率达到 96.6%，显著高于原始推理的 89.5%。
• 在 TruthfulQA 上，RAIN 在不更新任何模型参数的情况下，将已对齐的 LLaMA-2-chat 13B 模型的真实性提升了 5%。
• 各模型在有害性检测中的自我评估准确率在 52% 至 98% 之间，远高于随机猜测的 50%，表明其具备有效的引导能力。
• 与 500 次重复采样相比，RAIN 在 LLaMA 30B 上仅带来 4.36 倍的时间开销，却实现了显著更优的性能，证明其样本效率更高。
• RAIN 的时间开销可接受且随模型规模增加而降低，在 LLaMA-2 70B 上仅增加 3.78 倍，表明其具备良好的可扩展性。