[论文解读] PADA: A Prompt-based Autoregressive Approach for Adaptation to Unseen Domains.

Eyal Ben‐David, Nadav Oved+1 more|arXiv (Cornell University)|Feb 24, 2021

Topic Modeling参考文献 45被引用 33

一句话总结

PADA 提出了一种基于提示的自回归方法，用于自然语言处理中的零样本领域自适应，其中基于 T5 的模型从领域相关特征（DRFs）生成特定任务的提示，以在无需任何目标数据的情况下适应未见过的领域。该方法在 14 种多源适应场景的文本分类和序列标注任务中均达到了最先进性能。

ABSTRACT

Natural Language Processing algorithms have made incredible progress, but they still struggle when applied to out-of-distribution examples. We address a challenging and underexplored version of this domain adaptation problem, where an algorithm is trained on several source domains, and then applied to examples from an unseen domain that is unknown at training time. Particularly, no examples, labeled or unlabeled, or any other knowledge about the target domain are available to the algorithm at training time. We present PADA: A Prompt-based Autoregressive Domain Adaptation algorithm, based on the T5 model. Given a test example, PADA first generates a unique prompt and then, conditioned on this prompt, labels the example with respect to the NLP task. The prompt is a sequence of unrestricted length, consisting of pre-defined Domain Related Features (DRFs) that characterize each of the source domains. Intuitively, the prompt is a unique signature that maps the test example to the semantic space spanned by the source domains. In experiments with 3 tasks (text classification and sequence tagging), for a total of 14 multi-source adaptation scenarios, PADA substantially outperforms strong baselines.

研究动机与目标

• 解决在测试时将 NLP 模型适应到未见过领域的问题，且在训练期间无法访问目标领域的样本或标签。
• 克服现有领域自适应方法在训练期间需要目标领域有标签或无标签数据的局限性。
• 开发一种方法，能够跨多个源领域泛化，并仅使用领域相关特征（DRFs）适应完全未知的目标领域。
• 通过生成特定任务的提示，将测试样本映射到源领域语义空间，实现有效的零样本自适应。

提出的方法

• 使用基于 T5 的自回归模型，根据预定义的领域相关特征（DRFs），为每个测试样本生成唯一且长度不受限的提示。
• 利用描述源领域特征的 DRFs 构造提示，形成一种语义标识，将测试输入与源领域空间关联起来。
• 在生成的提示条件下进行标签预测，使模型能够以情境感知的方式执行 NLP 任务（例如分类或序列标注）。
• 仅在源领域上端到端训练模型，完全不使用目标领域数据，仅依赖 DRFs 指导提示生成。
• 利用 T5 的自回归特性，生成连贯且与任务相关的提示，从而提升零样本泛化能力。
• 通过允许从 DRFs 衍生出可变长度的提示序列，确保提示的多样性与表达力，增强对未见领域语义的适应能力。

实验结果

研究问题

• RQ1 基于提示的自回归方法是否能在完全无目标领域数据的情况下有效适应未见过的领域？
• RQ2 当适应完全未知的目标领域时，模型在多个源领域上的泛化能力如何？
• RQ3 在提示生成中使用领域相关特征（DRFs）在多大程度上提升了零样本自适应性能？
• RQ4 在多源领域自适应场景中，所提出方法与强基线相比表现如何？

主要发现

• PADA 在涉及文本分类和序列标注的 14 种多源适应场景中显著优于强基线方法。
• 即使在训练时目标领域完全未知，该模型在零样本领域自适应中仍达到了最先进性能。
• 基于 DRFs 自回归生成的提示，能够有效将测试样本映射到源领域的语义空间。
• 该方法在多种 NLP 任务和领域组合中表现出稳健的泛化能力，展示了强大的零样本迁移能力。
• 训练期间缺乏目标领域数据并未影响性能，证实了基于 DRFs 的提示生成的有效性。
• 该方法在零样本设置下对不同类型 NLP 任务（包括文本分类和序列标注）均表现出有效性。