[论文解读] Whitening Sentence Representations for Better Semantics and Faster Retrieval

Jianlin Su, Jiarun Cao+2 more|arXiv (Cornell University)|Mar 29, 2021

Topic Modeling参考文献 16被引用 204

一句话总结

论文表明，从 BERT 风格模型获得的句子嵌入进行 whitening 可以使空间趋于等方性，提升语义相似性表现，并降低嵌入维度以加速检索，且常常超过 BERT-flow 基线。

ABSTRACT

Pre-training models such as BERT have achieved great success in many natural language processing tasks. However, how to obtain better sentence representation through these pre-training models is still worthy to exploit. Previous work has shown that the anisotropy problem is an critical bottleneck for BERT-based sentence representation which hinders the model to fully utilize the underlying semantic features. Therefore, some attempts of boosting the isotropy of sentence distribution, such as flow-based model, have been applied to sentence representations and achieved some improvement. In this paper, we find that the whitening operation in traditional machine learning can similarly enhance the isotropy of sentence representations and achieve competitive results. Furthermore, the whitening technique is also capable of reducing the dimensionality of the sentence representation. Our experimental results show that it can not only achieve promising performance but also significantly reduce the storage cost and accelerate the model retrieval speed.

研究动机与目标

• 研究 BERT 基于句子嵌入的等方性问题及其对语义相似性任务的影响。
• 提出一种 whitening 后处理方法，将句子嵌入转换为标准正交基。
• 在 whitening 过程中探索维度缩减（k），以在性能和存储/速度收益之间取得平衡。
• 在多项语义文本相似性基准上评估该方法，在有无 NLI 监督的情况下均进行评估。

提出的方法

• 对一组句子嵌入应用 whitening：中心化为零均值并通过 W 变换，使 W^T Σ W = I，其中 Σ 为嵌入的协方差。
• 用 SVD 从 Σ 计算 whitening 矩阵 W：Σ = U Λ U^T 且 W = U sqrt(Λ^{-1})。
• 可选通过仅保留 W 的前 k 列来降低维度，从而实现 Whitening-k（类似 PCA 的降维）。
• 在 STS 基准上有无 NLI 监督的情形下，使用余弦相似度评估性能。
• 与 BERT-flow 和 SBERT 基线进行比较，以评估等方性改善和检索效率。

实验结果

研究问题

• RQ1 whitening 是否能将基于 BERT 的句子嵌入转换为等方性空间，从而改进基于余弦的相似性度量？
• RQ2 whitening（有无维度缩减）是否比基于 flow 的基线在 STS 任务上表现更好？
• RQ3 嵌入维度 k 对性能与检索效率的影响是什么？
• RQ4 在监督（NLI）训练设置下， whitening 基嵌入是否仍保持增益？

主要发现

• whitening 在若干 STS 基准上提升 Spearman 相关性，相较 BERT-flow，在多组数据集上实现了接近最优的结果，且嵌入维度为 256/384 时表现良好。
• 维度缩减（ Whitening-k ）通常保持或提升性能的同时，显著减少存储并加速检索。
• 在有 NLI 监督的情况下，使用 whitening 的结果与基于 flow 的方法在若干数据集上具有竞争力或优越性。
• 在各种 STS 任务中，BERT-base 与 BERT-large 配置均观测到性能提升。
• whitening 为实现等方性与紧凑表征提供了比基于 flow 的方法更简单的替代方案。