[论文解读] PANDA: Prompt Transfer Meets Knowledge Distillation for Efficient Model Adaptation

Qihuang Zhong, Liang Ding+3 more|arXiv (Cornell University)|Aug 22, 2022

Domain Adaptation and Few-Shot Learning被引用 14

一句话总结

PANDA 提出了一种新颖的提示迁移方法，结合了一种新的任务相似性度量与知识蒸馏，以提升小样本提示微调在小型和大型预训练语言模型（PLMs）上的表现。通过使用语义任务嵌入引导迁移，并从源提示到目标提示蒸馏知识，PANDA 实现了与全参数微调相当或更优的性能，在 189 对任务上平均优于基线提示迁移方法 2.3%。

ABSTRACT

Prompt Transfer (PoT) is a recently-proposed approach to improve prompt-tuning, by initializing the target prompt with the existing prompt trained on similar source tasks. However, such a vanilla PoT approach usually achieves sub-optimal performance, as (i) the PoT is sensitive to the similarity of source-target pair and (ii) directly fine-tuning the prompt initialized with source prompt on target task might lead to forgetting of the useful general knowledge learned from source task. To tackle these issues, we propose a new metric to accurately predict the prompt transferability (regarding (i)), and a novel PoT approach (namely PANDA) that leverages the knowledge distillation technique to alleviate the knowledge forgetting effectively (regarding (ii)). Extensive and systematic experiments on 189 combinations of 21 source and 9 target datasets across 5 scales of PLMs demonstrate that: 1) our proposed metric works well to predict the prompt transferability; 2) our PANDA consistently outperforms the vanilla PoT approach by 2.3% average score (up to 24.1%) among all tasks and model sizes; 3) with our PANDA approach, prompt-tuning can achieve competitive and even better performance than model-tuning in various PLM scales scenarios. We have publicly released our code in https://github.com/WHU-ZQH/PANDA.

研究动机与目标

• 解决提示微调在小型预训练语言模型（PLMs）上表现不佳的问题，其性能落后于全参数微调。
• 克服基线提示迁移（PoT）的两个关键局限：对源-目标任务相似性的敏感性，以及源知识的灾难性遗忘。
• 开发一种可靠的度量方法，基于语义任务嵌入而非提示参数相似性，以预测提示迁移性。
• 设计一种基于知识蒸馏的提示迁移机制，以微妙方式从源提示向目标提示迁移知识，防止遗忘。
• 通过将所提出的度量用作动态平衡因子，实现自适应提示迁移，以平衡真实标签与软标签监督。

提出的方法

• 提出一种新的提示迁移性度量方法：使用其软提示将源任务和目标任务映射到共享语义空间，然后计算任务嵌入之间的相似性。
• 引入 PANDA，一种基于知识蒸馏的提示迁移框架：源提示作为教师模型，随机初始化的目标提示作为学生模型。
• 使用真实标签和教师网络预测的软标签联合训练学生提示，仅更新学生提示的参数。
• 利用预测的提示迁移性分数作为加权因子，动态平衡两种监督信号（真实标签与软标签）。
• 在多个 PLM 尺寸（从 BERT-tiny 到大型模型）以及 21 个源数据集和 9 个目标数据集上应用该方法，以评估泛化能力。
• 为所有任务使用共享编码器，保持所有 PLM 参数冻结，仅微调每个任务的软提示。

实验结果

研究问题

• RQ1 基于语义的度量方法是否能比依赖提示参数相似性的现有方法更准确地预测提示迁移性？
• RQ2 在新任务上的微调过程中，提示迁移中的知识蒸馏是否能有效减少灾难性遗忘？
• RQ3 所提出的 PANDA 框架是否能在各种 PLM 尺寸下实现与全参数微调（模型微调）相当或更优的性能？
• RQ4 与基线提示迁移和标准微调相比，PANDA 在多样化 NLP 任务和模型规模下的表现如何？
• RQ5 该迁移性度量是否能通过动态调整每对源-目标提示的知识蒸馏强度，实现自适应提示迁移？

主要发现

• 所提出的提示迁移性度量显著优于现有方法（如提示嵌入余弦相似度），在预测有效源-目标任务对方面表现更优。
• PANDA 在所有 189 对任务组合和所有 PLM 尺寸下，平均比基线提示迁移（SPoT）提升 2.3%，在特定任务上最高提升达 24.1%。
• 在所有 PLM 尺寸下，包括 BERT-tiny 等小型模型，PANDA 使提示微调性能达到与全模型微调相当或更优的水平。
• 消融实验证实，迁移性度量和知识蒸馏均为关键组件，任一缺失均导致性能下降。
• 在 BERT-small 上，PANDA 在 SuperGLUE 上实现了 68.3% 的平均得分，优于 SPoT（66.1%），并接近全参数微调的性能。
• 该方法在多种 NLP 基准测试（包括 GLUE、SuperGLUE 和命名实体识别任务，如 CoNLL04）上均表现出良好的泛化能力，展现出鲁棒性与可扩展性。