[论文解读] PTR: Prompt Tuning with Rules for Text Classification

Xu Han, Weilin Zhao+3 more|arXiv (Cornell University)|May 24, 2021

Topic Modeling参考文献 36被引用 27

一句话总结

PTR 引入了一种基于规则的提示微调框架，用于多类别文本分类，将子提示与逻辑规则结合以编码先验知识并提升关系分类基准的性能。

ABSTRACT

Fine-tuned pre-trained language models (PLMs) have achieved awesome performance on almost all NLP tasks. By using additional prompts to fine-tune PLMs, we can further stimulate the rich knowledge distributed in PLMs to better serve downstream tasks. Prompt tuning has achieved promising results on some few-class classification tasks such as sentiment classification and natural language inference. However, manually designing lots of language prompts is cumbersome and fallible. For those auto-generated prompts, it is also expensive and time-consuming to verify their effectiveness in non-few-shot scenarios. Hence, it is still challenging for prompt tuning to address many-class classification tasks. To this end, we propose prompt tuning with rules (PTR) for many-class text classification and apply logic rules to construct prompts with several sub-prompts. In this way, PTR is able to encode prior knowledge of each class into prompt tuning. We conduct experiments on relation classification, a typical and complicated many-class classification task, and the results show that PTR can significantly and consistently outperform existing state-of-the-art baselines. This indicates that PTR is a promising approach to take advantage of both human prior knowledge and PLMs for those complicated classification tasks.

研究动机与目标

• 为难以设计人工提示的多类别分类任务提供提示微调的动机。
• 提出一个 PTR 框架，通过基于逻辑规则的子提示对先验知识进行编码。
• 证明将子提示通过合取连接（联结）组合可以产生有效的任务特定提示。
• 展示 PTR 在关系分类基准测试中相较于强基线的性能提升。

提出的方法

• 定义一组条件函数 F，包含一元/二元/多变量谓词，用以捕捉任务先验。
• 为 F 中的每个条件函数 f 设计子提示 T_f(·) 和标签词集合 V_f。
• 以基于规则的合取方式将子提示聚合为最终提示 T(x)。
• 使用多个掩码位置和标记级语言器 φ 将 [MASK] 标记映射到类别标签。
• 通过在给定复合提示的情况下最大化正确标签的似然来训练模型：最大化 (1/|X|) Σ_x log ∏_j p([MASK]_j = φ_j(y) | T(x))。
• 使用关系分类数据集 TACRED、TACREV、ReTACRED，以及 SemEval 2010 Task 8 进行有效性评估。

实验结果

研究问题

• RQ1 PTR 是否能通过规则编码先验知识来提高多类别分类任务的性能？
• RQ2 PTR 与标准微调和知识增强的语言模型在关系分类基准上的表现如何比较？
• RQ3 翻转关系对 PTR 性能的影响是什么？
• RQ4 在少样本情境下，PTR 与其他基于提示的方法相比有何表现？

主要发现

模型	TACRED	TACREV	ReTACRED	SEMEVAL
PTR	72.4	81.4	90.9	89.9
PTR (Reversed)	75.9	83.9	91.9	-

• 在使用正常（非翻转）关系设置时，PTR 显著且持续地超越 TACRED、TACREV、ReTACRED 和 SemEval 的最先进基线。
• 对部分关系进行翻转在 TACRED、TACREV 和 ReTACRED 数据集上为 PTR 带来显著提升。
• PTR 相较于基于标记的提示和其他提示微调方法，取得了有竞争力或更优的结果，同时不需要额外的人类注释或神经层。
• 在少样本设置中，PTR 可以与某些基线相媲美甚至优于它们，突出规则为基础的提示设计的高效性。
• PTR 相较于某些基于提示的替代方法也显示出更快的收敛。