[论文解读] Prompting GPT-3 To Be Reliable

Chenglei Si, Zhe Gan+5 more|arXiv (Cornell University)|Oct 17, 2022

Topic Modeling被引用 68

一句话总结

该论文在四个方面分析GPT-3的可靠性——泛化性、社会偏见、校准和事实性——并提出可提升每个方面的 prompting 策略，性能超过较小的监督模型。它还发布了数据集、脚本和预测结果。

ABSTRACT

Large language models (LLMs) show impressive abilities via few-shot prompting. Commercialized APIs such as OpenAI GPT-3 further increase their use in real-world language applications. However, the crucial problem of how to improve the reliability of GPT-3 is still under-explored. While reliability is a broad and vaguely defined term, we decompose reliability into four main facets that correspond to the existing framework of ML safety and are well-recognized to be important: generalizability, social biases, calibration, and factuality. Our core contribution is to establish simple and effective prompts that improve GPT-3's reliability as it: 1) generalizes out-of-distribution, 2) balances demographic distribution and uses natural language instructions to reduce social biases, 3) calibrates output probabilities, and 4) updates the LLM's factual knowledge and reasoning chains. With appropriate prompts, GPT-3 is more reliable than smaller-scale supervised models on all these facets. We release all processed datasets, evaluation scripts, and model predictions. Our systematic empirical study not only sheds new insights on the reliability of prompting LLMs, but more importantly, our prompting strategies can help practitioners more reliably use LLMs like GPT-3.

研究动机与目标

• 定义与机器学习安全概念（泛化性、偏见、校准、事实性）相一致的GPT-3多维可靠性框架。
• 开发简易的 prompting 策略，提升GPT-3在分布外泛化、社会公平性、概率校准和知识更新方面的可靠性。
• 在可靠性维度上对比GPT-3 prompting与较小的监督模型的实证比较。
• 为在实际任务中部署GPT-3的研究人员提供实用指南和资源（数据集、脚本、预测结果）。

提出的方法

• 对GPT-3 prompting在四个可靠性维度上的系统性实证评估。
• 提示设计包括对源域示例的随机抽样，以测试泛化。
• 社会偏见分析使用WinoBias和BBQ数据集，采用平衡提示和自然语言干预以降低偏见。
• 校准评估将语言模型概率和自一致性与DPR-BERT基线进行比较，使用ECE与Brier分数及选择性预测。
• 知识更新实验测试对照事实提示如何在闭卷问答和检索增强 prompting 中更新记忆的答案。
• 多步问答实验利用人类分解的子问题，通过思维链和分解策略提升推理能力。

实验结果

研究问题

• RQ1 与监督模型相比，GPT-3 prompting如何影响对分布外与具有挑战性的测试集的泛化？
• RQ2 提示设计是否能够缓解社会偏见并在多个人口统计维度上提高公平性？
• RQ3 GPT-3的校准在多大程度上能反映实际准确率，以及提示数量如何影响校准？
• RQ4 在提示中提供的新信息（包括检索增强和分解方法）下，GPT-3是否能更新其知识与推理链？
• RQ5 提示策略如何提升多跳推理和问答任务中的事实性？

主要发现

• 使用源域中随机抽样演示的少-shot prompting 能实现对分布外的鲁棒泛化，且常常超越监督基线。
• 在不同人口统计群体上平衡提示并使用自然语言干预显著降低WinoBias和BBQ中的偏见，同时不牺牲域内准确性。
• 在使用LM概率或自一致性时，GPT-3的校准优于监督的DPR-BERT，且选择性预测在最有把握的预测上显示出高准确性。
• 反事实提示使GPT-3在约85%的情况下能够更新记忆中的知识，优于微调的T5基线在更新知识方面。
• 检索增强提示（+Contriever段落）在NQ、TriviaQA和SQuAD数据集上持续提升开放域问答的准确性。
• 在提示中加入人工撰写的分解子问题，相较于标准提示和思维链基线，显著提升多跳问答性能。