[论文解读] When Do Prompting and Prefix-Tuning Work? A Theory of Capabilities and Limitations

Aleksandar Petrov, Philip H. S. Torr+1 more|arXiv (Cornell University)|Oct 30, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

本文从理论上分析了基于上下文的微调方法（如提示工程、软提示和前缀提示），表明它们严格弱于全量微调，因为无法学习新的注意力模式。尽管连续嵌入空间具有更高的表达能力，但前缀提示只能将注意力输出偏向固定方向，限制了其学习需要新注意力动态的新颖任务的能力。

ABSTRACT

Context-based fine-tuning methods, including prompting, in-context learning, soft prompting (also known as prompt tuning), and prefix-tuning, have gained popularity due to their ability to often match the performance of full fine-tuning with a fraction of the parameters. Despite their empirical successes, there is little theoretical understanding of how these techniques influence the internal computation of the model and their expressiveness limitations. We show that despite the continuous embedding space being more expressive than the discrete token space, soft-prompting and prefix-tuning are potentially less expressive than full fine-tuning, even with the same number of learnable parameters. Concretely, context-based fine-tuning cannot change the relative attention pattern over the content and can only bias the outputs of an attention layer in a fixed direction. This suggests that while techniques like prompting, in-context learning, soft prompting, and prefix-tuning can effectively elicit skills present in the pretrained model, they may not be able to learn novel tasks that require new attention patterns.

研究动机与目标

• 理解基于上下文的微调方法（如提示工程和前缀提示）的理论表达能力限制。
• 研究连续嵌入空间是否在提示工程中真正提供相较于离散标记的计算优势。
• 解释尽管存在结构限制，前缀提示为何仍能取得经验上的成功。
• 阐明这些方法为何在需要根本性新注意力模式的任务上会失败。
• 探讨其在模型对齐、灾难性遗忘和可解释性方面的启示。

提出的方法

• 对不同微调范式（离散提示、软提示和前缀提示）下Transformer注意力机制的理论分析。
• 构建最小化Transformer模型，在不同微调方法下表现出可证明不同的行为，以展示表达能力的限制。
• 形式化证明前缀提示无法改变内容标记上的相对注意力模式，仅能将注意力输出偏向固定子空间。
• 分析前缀引起的偏差如何与下游非线性操作相互作用，从而影响模型行为。
• 通过注意力输出子空间的秩分析，比较前缀提示与全量微调的表达能力。
• 通过显式构造和代码发布进行经验验证，以复现理论主张。

实验结果

研究问题

• RQ1 连续嵌入空间是否真正能在Transformer中实现相较于离散标记提示的更高表达能力？
• RQ2 尽管参数量相同，前缀提示的表达能力是否与全量微调相当？
• RQ3 如果前缀提示无法学习新的注意力模式，为何基于上下文的方法（如前缀提示）仍能取得高经验性能？
• RQ4 前缀提示在修改注意力动态方面存在哪些结构性限制？
• RQ5 基于上下文的微调能否学习完全需要新注意力模式的新任务？

主要发现

• 即使参数量相同，软提示和前缀提示的表达能力也严格弱于全量微调。
• 前缀提示无法改变内容标记上的相对注意力模式；它只能将注意力输出偏向固定方向。
• 前缀引起的注意力输出偏差被限制在等于前缀长度的秩的子空间内，从而限制了其表达能力。
• 尽管存在结构限制，前缀提示仍能成功激发或组合预训练技能，解释了其在可迁移任务上的经验成功。
• 当全量微调使用相同参数量时也能成功，前缀提示在需要完全新注意力模式的任务上仍会失败。
• 结果表明，当前的对齐方法可能仅是掩盖而非消除不良行为，因为基于上下文的微调无法诱导出新的对抗性行为。