[论文解读] On Transferability of Prompt Tuning for Natural Language Understanding

Yusheng Su, Xiaozhi Wang+9 more|arXiv (Cornell University)|Nov 12, 2021

Topic Modeling参考文献 50被引用 11

一句话总结

本文研究了用于自然语言理解的提示微调（PT）的可迁移性，表明在一个任务上训练的软提示可加速并提升在相似下游任务上的PT性能。研究发现，提示相似性，尤其是激活神经元的重叠，与可迁移性高度相关；尽管跨任务迁移效果良好，但跨模型迁移效果较差，原因在于优化差异和模型冗余。

ABSTRACT

Prompt tuning (PT) is a promising parameter-efficient method to utilize extremely large pre-trained language models (PLMs), which could achieve comparable performance to full-parameter fine-tuning by only tuning a few soft prompts. However, compared to fine-tuning, PT empirically requires much more training steps. To explore whether we can improve the efficiency of PT by reusing trained soft prompts and sharing learned knowledge, we empirically investigate the transferability of soft prompts across different tasks and models. In cross-task transfer, we find that trained soft prompts can well transfer to similar tasks and initialize PT for them to accelerate training and improve performance. Moreover, to explore what factors influence prompts' transferability across tasks, we investigate how to measure the prompt similarity and find that the overlapping rate of activated neurons highly correlates to the transferability. In cross-model transfer, we explore how to project the prompts of a PLM to another PLM and successfully train a kind of projector which can achieve non-trivial transfer performance on similar tasks. However, initializing PT with the projected prompts does not work well, which may be caused by optimization preferences and PLMs' high redundancy. Our findings show that improving PT with knowledge transfer is possible and promising, while prompts' cross-task transferability is generally better than the cross-model transferability.

研究动机与目标

• 探究在一个任务上训练的软提示是否可被迁移以加速和提升在相似下游任务上的提示微调性能。
• 识别影响软提示在不同自然语言理解任务之间可迁移性的因素。
• 探索通过投影机制在不同预训练语言模型（PLMs）之间迁移提示的可行性。
• 评估使用迁移提示初始化提示微调是否能提升训练效率和性能。
• 分析神经元激活重叠和优化偏好在决定提示可迁移性中的作用。

提出的方法

• 通过在源任务上微调的软提示，实证评估在多个NLU任务之间提示微调的可迁移性。
• 使用预训练语言模型（PLM）隐藏层中激活神经元的重叠率来度量提示相似性。
• 训练一个投影网络，将软提示从一个PLM映射到另一个PLM，以实现跨模型提示迁移。
• 使用迁移的提示初始化目标任务上的提示微调，并与随机初始化相比，比较收敛速度和性能。
• 分析优化动态和模型特定偏好，以解释跨模型迁移中的性能差距。
• 使用标准NLU基准（如GLUE）在多样化任务和模型架构上评估迁移性能。

实验结果

研究问题

• RQ1 在一种NLU任务上训练的软提示是否可有效迁移到另一项不同但相似的任务上，以加速提示微调？
• RQ2 哪些因素（如神经元激活模式）会影响软提示在不同任务之间的可迁移性？
• RQ3 在不同预训练语言模型之间，通过投影机制可将软提示迁移多大程度？
• RQ4 使用迁移提示初始化提示微调是否相比随机初始化能带来更快的收敛速度和更好的性能？
• RQ5 尽管投影成功，为何跨模型提示迁移的性能仍低于跨任务迁移？

主要发现

• 在相似下游任务上，训练好的软提示可有效迁移，显著加速收敛并提升提示微调性能。
• 预训练语言模型隐藏层中激活神经元的重叠率与提示在任务间的可迁移性呈强正相关。
• 投影网络可成功将软提示从一个PLM映射到另一个PLM，实现在相似任务上的非平凡迁移性能。
• 使用来自不同PLM的投影提示初始化提示微调并未带来性能提升，可能由于优化偏好不匹配和模型特定冗余。
• 跨任务迁移的可迁移性始终高于跨模型迁移，表明任务相似性比模型兼容性对成功的影响更强。
• 结果表明，通过软提示进行知识迁移在相同模型族或任务分布内更有效，而非跨不同模型之间。