[论文解读] Uncertainty Estimation for Language Reward Models

Adam Gleave, Geoffrey Irving|arXiv (Cornell University)|Mar 14, 2022

Topic Modeling被引用 7

一句话总结

本文通过集成方法研究了语言奖励模型中的不确定性估计，具体采用在微调后的预训练模型上对随机初始化的最终层进行自助聚合（bootstrap aggregating）。尽管在其他领域表现优异，但集成方法在主动学习中表现不佳，且认知不确定性与模型误差之间的相关性微弱，表明由于所有模型均从单一预训练模型微调而来，集成成员之间多样性有限。

ABSTRACT

Language models can learn a range of capabilities from unsupervised training on text corpora. However, to solve a particular problem (such as text summarization) it is typically necessary to fine-tune them on a task-specific dataset. It is often easier for humans to choose between options than to provide labeled data, and prior work has achieved state-of-the-art performance by training a reward model from such preference comparisons. However, collecting a large preference comparison dataset is still expensive -- and the learned reward models are unreliable out-of-distribution. We seek to address these problems via uncertainty estimation, which can improve sample efficiency and robustness using active learning and risk-averse reinforcement learning (RL). Specifically, we use bootstrap aggregating (bagging) to train an ensemble of reward models differing in the initialization of their final layer. Ensembles have proved successful in prior applications of active learning, but we find that in our setting ensemble active learning does not outperform random sampling. Further experiments show that while the aggregate predictions are well-calibrated, the ensemble's estimated epistemic uncertainty is only weakly correlated with model error. We suspect this is because the ensemble members are fine-tuned from a single model and so are similar to one another. This suggests current pre-training methods will need to be modified to support uncertainty estimation, e.g. by training multiple language models.

研究动机与目标

• 通过不确定性估计提升语言奖励模型训练的样本效率与鲁棒性。
• 探究集成方法是否能为基于偏好比较微调的奖励模型提供可靠的不确定性估计。
• 评估基于不确定性的主动学习在降低人类偏好标注数据收集成本方面的有效性。
• 诊断为何在微调后的预训练语言模型背景下，集成不确定性估计表现不佳。
• 探讨微调效率与不确定性估计质量之间的权衡，原因在于模型多样性有限。

提出的方法

• 通过在微调偏好比较数据时对每个模型的最终层进行随机重新初始化，训练一组语言奖励模型集成。
• 使用自助聚合（bagging）为每个集成成员创建多样化的训练子集，以提升不确定性估计效果。
• 通过计算集成预测结果在每个输入上的方差来估计认知不确定性。
• 使用斯皮尔曼等级相关系数评估不确定性估计与保留数据上实际模型误差之间的相关性，以衡量不确定性质量。
• 比较基于不确定性获取（如方差）的主动学习与随机采样在偏好标注中的表现。
• 使用合成数据集和真实摘要数据集评估集成预测及其不确定性估计的校准性。

实验结果

研究问题

• RQ1 与随机采样相比，基于集成的不确定性估计能否提升语言奖励模型训练中的主动学习性能？
• RQ2 通过集成方差估计的不确定性与分布外和分布内输入的实际模型误差之间的相关性如何？
• RQ3 集成规模和模型参数量对不确定性估计质量有何影响？
• RQ4 为何尽管在其他机器学习应用中表现成功，集成不确定性估计在此设置中仍表现不佳？
• RQ5 从单一预训练模型微调是否显著限制了集成成员之间的多样性，从而影响不确定性估计？

主要发现

• 基于集成的主动学习在语言奖励模型的偏好标注中并未优于随机采样。
• 估计的认知不确定性与实际模型误差之间的斯皮尔曼相关系数较低，最大仅为 r = 0.36，仅能解释模型误差中13%的方差。
• 随着集成规模增大，不确定性质量略有提升，从3个成员时的 r = 0.25 提升至42个成员时的 r = 0.36，但提升幅度微小。
• 训练过程中使用自助采样仅带来轻微且不显著的不确定性质量提升，表明集成规模比采样策略更为关键。
• 性能不佳的原因在于集成成员间多样性较低，因为所有模型均从同一预训练模型微调而来，限制了其捕捉有意义不确定性的能力。
• 结果表明，在微调带来的样本效率与可靠不确定性估计之间存在根本性权衡，亟需采用具有内在多样性的替代预训练或集成策略。