[论文解读] POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models

Korawat Tanwisuth, Shujian Zhang+3 more|arXiv (Cornell University)|Apr 29, 2023

Topic Modeling被引用 7

一句话总结

POUF 是一个无监督微调框架，通过传输基础对齐和互信息最大化，将文本原型与未标注的目标数据对齐，以适应零-shot 大模型用于语言增强的视觉模型和掩码语言模型。

ABSTRACT

Through prompting, large-scale pre-trained models have become more expressive and powerful, gaining significant attention in recent years. Though these big models have zero-shot capabilities, in general, labeled data are still required to adapt them to downstream tasks. To overcome this critical limitation, we propose an unsupervised fine-tuning framework to directly fine-tune the model or prompt on the unlabeled target data. We demonstrate how to apply our method to both language-augmented vision and masked-language models by aligning the discrete distributions extracted from the prompts and target data. To verify our approach's applicability, we conduct extensive experiments on image classification, sentiment analysis, and natural language inference tasks. Across 13 image-related tasks and 15 language-related ones, the proposed approach achieves consistent improvements over the baselines.

研究动机与目标

• 在不使用标签的情况下，解决预训练数据与目标数据之间的分布偏移。
• 从文本提示中构建类别原型，以高效表示源数据。
• 使用基于传输的方法和互信息目标，将文本原型与目标特征对齐。
• 在全模型或提示微调下，支持语言增强的视觉模型和掩码语言模型两类。
• 在图像分类、情感分析、自然语言推理任务中展示有效性。

提出的方法

• 为语言增强的视觉模型中的每个类别构建文本原型，使用提示。
• 为文本原型和目标特征定义离散分布，并通过条件传输（CT）对齐。
• 使用模式寻寻的传输项 L_t→w 和模式覆盖项 L_w→t 以避免崩溃，具有先验 p(w_k) 和可能学习得到的类别先验。
• 优化一个联合损失，整合 CT 传输成本与互信息目标，以鼓励多样且有信心的预测（L_transport + L_mi）。
• 在两种设置中应用该框架：语言增强的视觉模型（如 CLIP）和掩码语言模型（如 RoBERTa），可全模型微调或软提示微调。
• 提供在每种设置中构建文本原型的操作细节（对 CLIP 的文本提示；对 MLM 的解码头权重）。

实验结果

研究问题

• RQ1 在未标注的目标数据上进行无监督微调，是否能提升大规模预训练模型的零-shot 性能？
• RQ2 文本基的类别原型是否能有效表示源域信息，以弥合分布偏移？
• RQ3 哪种分布对齐机制（CT 与 OT）在 POUF 中的实际性能更好？
• RQ4 POUF 是否兼容视觉-语言模型与纯 NLP 模型在全模型微调和提示微调两种模式？
• RQ5 在不访问目标标签的情况下，POUF 在多样化任务和数据集上的表现如何？

主要发现

• POUF 在13项图像任务和15项语言任务上对零-shot 基线具有稳定的提升。
• 基于 CT 的传输对齐在该框架中优于基于 OT 的方法。
• POUF 同时受益于提示微调与全模型微调，其中提示微调在内存使用方面更优。
• 在基于 CLIP 的视觉任务中，相较于若干基线，POUF 提高了 Office-31、Office-Home 和 DomainNet 的准确度。
• 在 RoBERTa-large 的语言任务中，POUF 在多个情感分析与 NLP 任务上显著提升相对于零-shot 基线的准确度。
• 总体而言，POUF 对无标签目标数据的跨模态无监督适应显示出有效性。