[论文解读] Teaching Models to Express Their Uncertainty in Words

Stephanie Lin, Jacob Hilton+1 more|arXiv (Cornell University)|May 28, 2022

Topic Modeling被引用 54

一句话总结

该论文显示 GPT-3 可以学会用自然语言表达对自己回答的经过校准的口头化不确定性，并在分布偏移下使用新的 CalibratedMath 工具集评估校准。

ABSTRACT

We show that a GPT-3 model can learn to express uncertainty about its own answers in natural language -- without use of model logits. When given a question, the model generates both an answer and a level of confidence (e.g. "90% confidence" or "high confidence"). These levels map to probabilities that are well calibrated. The model also remains moderately calibrated under distribution shift, and is sensitive to uncertainty in its own answers, rather than imitating human examples. To our knowledge, this is the first time a model has been shown to express calibrated uncertainty about its own answers in natural language. For testing calibration, we introduce the CalibratedMath suite of tasks. We compare the calibration of uncertainty expressed in words ("verbalized probability") to uncertainty extracted from model logits. Both kinds of uncertainty are capable of generalizing calibration under distribution shift. We also provide evidence that GPT-3's ability to generalize calibration depends on pre-trained latent representations that correlate with epistemic uncertainty over its answers.

研究动机与目标

• 动机：在语言模型中需要经过校准的不确定性，以遏制幻觉并建立用户信任。
• 引入口头化概率，作为模型以自然语言表达认知不确定性的一种方式。
• 创建并使用 CalibratedMath，在跨算术任务的分布偏移下测试校准。
• 将口头化概率与基于 logits 的校准方法以及间接 logit 方法进行比较。

提出的方法

• 在 CalibratedMath 的加减训练子集上对 GPT-3 (175B) 进行微调，以在给出答案时产生口头化概率。
• 为校准定义三种概率来源：答案对数几率（answer logit）、间接对数几率（indirect logit）和口头化概率（自然语言）。
• 使用均方误差（MSE）和平均绝对偏差（MAD）在同分布内与分布外的评估集上评估校准。
• 使用监督微调，口头化概率的标签来自各子任务的经验准确率，间接 logit 的标签来自真实正确性。
• 将微调后的口头化概率和间接 logit 与零样本答案对数几率和一个常数基线进行比较。

实验结果

研究问题

• RQ1 GPT-3 模型是否能够用自然语言表达对自己回答的经过校准的不确定性（口头化概率）？
• RQ2 在 CalibratedMath 的新任务族中，校准在分布偏移下是否具有普适性？
• RQ3 在校准质量和泛化方面，口头化概率与基于 logits 的校准方法相比如何？
• RQ4 哪些机制（潜在表示 vs. 简单启发式）支持校准的泛化？

主要发现

• 口头化概率能推广到新的评估集，并在分布偏移下保持中等水平的校准。
• 在 Multi-answer 任务上，微调后的口头化概率在 MSE 上低于答案对数几率和间接对数几率基线。
• 在 Multiply-divide 任务上，口头化概率在 MAD 和 MSE 上达到甚至超过常数基线。
• 间接 logit 在 Multiply-divide 上显示出较强的校准，但在 Multi-answer 上相较于口头化概率较弱。
• 若干分析表明 GPT-3 使用潜在的预训练特征来校准不确定性，而不仅仅依赖输出标记概率。