[论文解读] Situating Sentence Embedders with Nearest Neighbor Overlap

Lucy H. Lin, Noah A. Smith|arXiv (Cornell University)|Sep 24, 2019

Topic Modeling参考文献 27被引用 5

一句话总结

本文提出最近邻重叠（N2O），一种与任务无关的方法，通过测量语料库中不同句嵌入模型在最近邻上的重叠程度来比较其表现。N2O揭示了 BERT 和 GPT 嵌入在语义相似性行为上属于异常值，而子词建模和平均策略显著影响相似性对齐效果，ELMo 模型则展现出强大的释义检测能力。

ABSTRACT

As distributed approaches to natural language semantics have developed and diversified, embedders for linguistic units larger than words have come to play an increasingly important role. To date, such embedders have been evaluated using benchmark tasks (e.g., GLUE) and linguistic probes. We propose a comparative approach, nearest neighbor overlap (N2O), that quantifies similarity between embedders in a task-agnostic manner. N2O requires only a collection of examples and is simple to understand: two embedders are more similar if, for the same set of inputs, there is greater overlap between the inputs' nearest neighbors. Though applicable to embedders of texts of any size, we focus on sentence embedders and use N2O to show the effects of different design choices and architectures.

研究动机与目标

• 开发一种与任务无关、基于语料库的句嵌入模型比较方法，无需依赖标注数据或下游任务。
• 理解架构选择与训练目标如何影响句嵌入模型的语义相似性行为。
• 评估最近邻重叠作为比较指标在不同语料样本和大小下的鲁棒性。
• 探索句嵌入模型在使用最近邻搜索时能否可靠地识别释义句对。
• 识别多个句嵌入模型中稳定与不稳定的最近邻，以提升可解释性。

提出的方法

• N2O 计算一组查询句在两个句嵌入模型下，其 k 个最近邻的平均重叠程度，使用大规模未标注语料库进行计算。
• 对从语料库中采样的每个查询句，分别在每个嵌入模型下检索其 k 个最近邻，并计算两个邻居集合之间的 Jaccard 相似度。
• 最终的 N2O 得分是所有查询句的平均重叠值，归一化至 [0,1] 区间，其中 1 表示邻居集合完全一致。
• 该方法在 21 种不同架构与训练方式的句嵌入模型上应用，使用基于 Gigaword 语料库构建的语料进行评估。
• 附加分析包括识别稳定邻居（在多个模型中一致检索到）与不稳定邻居（在不同模型间存在分歧），以及通过“针中找 haystack”实验评估释义检测能力。
• 该方法在不同样本大小和查询集下进行了鲁棒性验证，确保在真实场景中的可靠性。

实验结果

研究问题

• RQ1 在真实世界语料库中，不同句嵌入模型在最近邻行为上如何比较？
• RQ2 架构选择（如子词建模、池化策略或模型类型，例如 BERT 与 GPT）在多大程度上影响语义相似性对齐？
• RQ3 当使用最近邻搜索时，句嵌入模型在语料库中识别释义句对的能力如何？
• RQ4 哪些句子邻居在多个句嵌入模型中被一致检索到，哪些是模型特异性的？
• RQ5 N2O 指标在不同语料样本和大小下有多强的鲁棒性？

主要发现

• ELMo 模型，尤其是较大版本，识别释义句对的平均倒数排名最高（MRR = 0.910）。
• 平均池化后的 BERT 和 GPT 嵌入在释义检测任务中优于 [CLS] 或最后标记的表示，这与它们更高的 N2O 得分一致。
• 在 N2O 分析中，BERT 和 GPT 模型被识别为异常值，其最近邻行为与其他嵌入模型相比相似性较低。
• 使用子词信息显著提高了不同嵌入模型之间最近邻行为的相似性，尤其在 fastText 和 ELMo 等模型中表现明显。
• 静态词嵌入（如 GloVe、Word2Vec）在最近邻集合中表现出高度相似性，表明其语义空间具有强对齐性。
• N2O 指标在不同样本大小和查询集下均表现出鲁棒性，证明其在比较评估中具有稳定性。