[论文解读] Plug-Tagger: A Pluggable Sequence Labeling Framework Using Language Models

Xin Zhou, Ruotian Ma+4 more|arXiv (Cornell University)|Oct 14, 2021

Topic Modeling参考文献 38被引用 4

一句话总结

Plug-Tagger 是一种用于序列标注的即插即用框架，通过标签词预测而非分类来实现，利用轻量级输入向量切换，使冻结的预训练语言模型能够执行多种任务。在资源受限环境下，其性能与全量微调相当，仅需 0.1% 的任务特定参数，任务切换速度最高提升 70 倍。

ABSTRACT

Plug-and-play functionality allows deep learning models to adapt well to different tasks without requiring any parameters modified. Recently, prefix-tuning was shown to be a plug-and-play method on various text generation tasks by simply inserting corresponding continuous vectors into the inputs. However, sequence labeling tasks invalidate existing plug-and-play methods since different label sets demand changes to the architecture of the model classifier. In this work, we propose the use of label word prediction instead of classification to totally reuse the architecture of pre-trained models for sequence labeling tasks. Specifically, for each task, a label word set is first constructed by selecting a high-frequency word for each class respectively, and then, task-specific vectors are inserted into the inputs and optimized to manipulate the model predictions towards the corresponding label words. As a result, by simply switching the plugin vectors on the input, a frozen pre-trained language model is allowed to perform different tasks. Experimental results on three sequence labeling tasks show that the performance of the proposed method can achieve comparable performance with standard fine-tuning with only 0.1\% task-specific parameters. In addition, our method is up to 70 times faster than non-plug-and-play methods while switching different tasks under the resource-constrained scenario.

研究动机与目标

• 实现预训练语言模型（PLM）在序列标注任务上的即插即用式适配，无需修改模型架构或参数。
• 克服现有即插即用方法（如前缀调优）在序列标注任务中失效的局限性，原因在于其对任务特定分类器的依赖。
• 在模型重新部署成本高且耗时的工业环境中实现实时任务切换。
• 通过将序列标注重新表述为标签词预测，复用 PLM 的语言模型头，避免使用任务特定分类器。
• 在动态、资源受限环境中实现高性能，同时保持极少的可训练参数和低推理延迟。

提出的方法

• 通过为每个类别选择高频词作为代表性标签词，将序列标注重新表述为标签词预测任务。
• 在输入序列中插入特定任务的连续向量（插件），以引导冻结的 PLM 预测对应标签词。
• 使用 PLM 的预训练语言模型头进行预测，无需引入任务特定分类器。
• 通过预定义的标签词映射表将预测的标签词映射回实际标签。
• 仅在训练过程中优化输入插件向量，保持所有 PLM 参数冻结。
• 通过在推理时简单替换插件向量实现任务切换，无需重新训练或重新配置模型。

实验结果

研究问题

• RQ1 是否可以通过仅修改输入层实现序列标注的完全即插即用，而无需更改模型架构或参数？
• RQ2 标签词预测能否在保持性能的前提下有效替代序列标注任务中的传统分类头？
• RQ3 Plug-Tagger 在准确率和参数效率方面与标准微调相比表现如何？
• RQ4 Plug-Tagger 在动态多任务环境中在推理速度和部署效率方面提升了多少？
• RQ5 标签词选择策略对即插即用框架的鲁棒性和泛化能力有何影响？

主要发现

• Plug-Tagger 在三个序列标注任务上实现了与标准微调相当的性能，仅使用 0.1% 的任务特定参数进行适配。
• 在资源受限条件下切换任务时，该方法比非即插即用方法快达 70 倍。
• 通过高频词选择实现的标签词预测，有效实现了 PLM 语言模型头在多样化标签集上的复用。
• 该框架在命名实体识别（NER）、词性标注（POS tagging）和短语切分（chunking）任务中均保持强劲性能，CoNLL2003 和 ACE2005 数据集上表现一致提升，但短语切分任务中因相邻同标签短语被错误分组而出现性能下降。
• 基于精确匹配的标签词选择策略（ExactMatch）在大多数场景中优于 GreedyMatch，尤其在标签一致性与词频关键的场景中表现更优。
• 即插即用机制实现了模型的完全复用，避免了任务切换时的模型微调或重新部署。