[论文解读] PromptBoosting: Black-Box Text Classification with Ten Forward Passes

Bairu Hou, Joe O’Connor+3 more|arXiv (Cornell University)|Dec 19, 2022

Natural Language Processing Techniques被引用 11

一句话总结

PromptBoosting 是一种查询效率高的黑盒文本分类方法，通过从少量提示和语言模型的输出分布中构建弱学习器集成，绕过了提示优化。该方法在少样本和标准设置下均达到最先进性能，每个批次仅需十次前向传播，优于现有黑盒方法，并与全微调性能相当，同时速度快10倍。

ABSTRACT

We describe PromptBoosting, a query-efficient procedure for building a text classifier from a neural language model (LM) without access to the LM's parameters, gradients, or hidden representations. This form of "black-box" classifier training has become increasingly important as the cost of training and inference in large-scale LMs grows. But existing black-box LM classifier learning approaches are themselves computationally inefficient, typically specializing LMs to the target task by searching in a large space of (discrete or continuous) prompts using zeroth-order optimization methods. Instead of directly optimizing in prompt space, PromptBoosting obtains a small pool of prompts via a gradient-free approach and then constructs a large pool of weak learners by pairing these prompts with different elements of the LM's output distribution. These weak learners are then ensembled using the AdaBoost algorithm. The entire learning process requires only a small number of forward passes and no backward pass. Experiments show that PromptBoosting achieves state-of-the-art performance in multiple black-box few-shot classification tasks, and matches or outperforms full fine-tuning in both few-shot and standard learning paradigms, while training 10x faster than existing black-box methods.

研究动机与目标

• 解决在大型语言模型（LMs）中黑盒提示微调计算成本过高的问题，其中参数、梯度和隐藏状态均不可访问。
• 在不依赖基于梯度的优化的前提下，减少实现有效提示分类所需的语言模型查询次数。
• 开发一种在黑盒设置下显著提升推理效率的同时保持高性能的方法。
• 证明通过在模型输出分布（即口头化表示）上进行集成学习，可以弥补提示质量的不足。
• 实现在无法访问模型内部结构的情况下，高效适应下游任务的大型语言模型，尤其适用于现实世界中的云服务型语言模型。

提出的方法

• PromptBoosting 首先使用无梯度方法生成一组子最优提示，避免昂贵的提示优化过程。
• 然后通过将每个提示与语言模型输出分布（如特定类别标记）的不同元素配对，构建大量弱学习器。
• 利用 AdaBoost 算法对这些弱学习器进行集成，其中优化仅作用于每次迭代中的口头化表示，而非提示本身。
• 整个过程仅需通过语言模型进行前向传播，无需反向传播或梯度计算。
• 该方法利用语言模型输出分布中的内在多样性，在不调整提示的情况下构建强集成预测。
• 该框架具有查询效率，每个批次仅需十次前向传播，且兼容少样本和全数据训练。

实验结果

研究问题

• RQ1 能否在仅使用极少语言模型查询的前提下构建高准确率的黑盒文本分类器？
• RQ2 在黑盒设置下，基于固定提示集和语言模型输出分布生成的弱学习器集成，是否优于提示优化方法？
• RQ3 能否在无法访问模型参数或梯度的情况下，实现与全微调相当的性能？
• RQ4 提示数量如何影响集成模型的性能与效率？
• RQ5 当提示未针对任务进行优化时，该方法对初始提示池质量的鲁棒性如何？

主要发现

• PromptBoosting 在多个少样本文本分类基准（包括 GLUE 和 Hugging Face NLI 任务）上达到最先进性能。
• 在 QNLI 数据集上，PromptBoosting 显著优于单个提示，使用 10 个提示时准确率达到 84.6%，而单个提示仅为 41.3%。
• 在少样本和全数据训练设置下，该方法的性能与全微调相当或更优。
• PromptBoosting 的运行速度比现有黑盒提示学习方法快 10 倍，每个批次仅需十次前向传播。
• 该方法在不同提示生成方法（如 LM-BFF、PET、人工提示）下均保持竞争力，证实了集成机制的鲁棒性。
• 将提示数量从 10 增加到 20 仅带来微小的性能提升，表明 10 个提示已足够实现最优性能。