[论文解读] PromptBERT: Improving BERT Sentence Embeddings with Prompts

Ting Jiang, Jiao, Jian+8 more|arXiv (Cornell University)|Jan 12, 2022

Topic Modeling被引用 12

一句话总结

PromptBERT 提出了一种基于提示的 方法，通过减轻静态词元嵌入偏差和无效利用 BERT 层次，改进了 BERT 的句子嵌入。它引入了基于模板的对比学习与模板去噪，实现了在无监督和有监督设置下的最先进性能，相较于 SimCSE 在 BERT 和 RoBERTa 上分别取得了 2.29 和 2.58 的性能提升。

ABSTRACT

We propose PromptBERT, a novel contrastive learning method for learning better sentence representation. We firstly analyze the drawback of current sentence embedding from original BERT and find that it is mainly due to the static token embedding bias and ineffective BERT layers. Then we propose the first prompt-based sentence embeddings method and discuss two prompt representing methods and three prompt searching methods to make BERT achieve better sentence embeddings. Moreover, we propose a novel unsupervised training objective by the technology of template denoising, which substantially shortens the performance gap between the supervised and unsupervised settings. Extensive experiments show the effectiveness of our method. Compared to SimCSE, PromptBert achieves 2.29 and 2.58 points of improvement based on BERT and RoBERTa in the unsupervised setting.

研究动机与目标

• 为解决原始 BERT 在句子嵌入中表现不佳的问题，其根源在于静态词元嵌入偏差和 BERT 层次的无效使用。
• 开发一种基于提示的方法，充分利用 BERT 的全部能力而无需微调，避免手动去除偏差并保留有意义的词元。
• 通过引入基于模板的新型对比学习目标和模板去噪，改进无监督训练，减少偏差并提升正样本对的质量。
• 弥合句子表示学习中监督与无监督设置之间的性能差距。
• 证明提示工程可在句子嵌入任务中超越微调后的 BERT 基线模型。

提出的方法

• 提出一种基于提示的句子表示方法，使用模板引导 BERT 生成句子嵌入，替代对隐藏状态的简单池化操作。
• 引入两种提示表示方法：基于模板的方法和连续提示微调，其中人工模板表现出更优性能。
• 采用三种提示搜索策略：人工提示、T5 生成提示和连续提示，以寻找最优模板用于句子表示。
• 开发一种新型无监督对比学习目标，使用多个模板作为正样本对，结合模板去噪以过滤掉有偏差或无关的词元。
• 通过掩码语言建模（MLM）实施模板去噪，以优化预测词元，去除无关或噪声预测（如 'nothing', 'yes'），提升语义相关性。
• 使用 top-k 预测词元（如 top-200）的加权平均作为句子嵌入，其中去噪显著提升了该表示方法的性能。

实验结果

研究问题

• RQ1 为何原始 BERT 尽管架构强大，但在句子嵌入中表现欠佳？
• RQ2 基于提示的方法能否在不微调的前提下缓解静态词元嵌入偏差并提升句子表示质量？
• RQ3 基于模板的对比学习结合去噪，在提升无监督句子嵌入性能方面有多有效？
• RQ4 模板去噪能否降低预测词元中的偏差并增强句子嵌入的语义质量？
• RQ5 基于提示的对比学习在多大程度上能稳定训练并缩小监督与无监督设置之间的性能差距？

主要发现

• 原始 BERT 层次会降低句子嵌入质量，且静态词元嵌入虽不如最后一层表示那样具有各向异性，但仍受频率、大小写和子词偏差的影响。
• 一种简单基线方法（仅对非偏差词元取平均，如排除高频子词和标点符号）的性能优于 GloVe，并与 BERT-flow 和 BERT-whitening 等后处理方法相当。
• 基于提示的句子嵌入（使用人工模板）显著优于标准 BERT 池化方法，甚至在句子相似度任务中超越部分微调后的 BERT 基线模型。
• 模板去噪提升了 MLM 中 top-k 预测词元的质量，使 STS 基准测试中 top-200 词元嵌入平均性能从 56.19 提升至 60.39。
• 所提方法结合模板去噪后，在无监督设置下于 STS-B 基准测试中分别取得 78.54 ± 0.15（BERT-base）和 79.15 ± 0.25（RoBERTa-base）的性能，相较于 SimCSE 分别高出 2.29 和 2.58 分。
• PromptBERT 展现出更优的训练稳定性，最佳与最差运行之间的性能差距仅为 0.53%，远低于 SimCSE 的 3.14%，表明其收敛更一致。