[论文解读] Nonparametric Decoding for Generative Retrieval

Hyunji Lee, Jaeyoung Kim+6 more|arXiv (Cornell University)|Oct 5, 2022

Topic Modeling被引用 4

一句话总结

本文提出非参数解码（Np Decoding），一种通过用来自冻结编码器的上下文感知、非参数化上下文嵌入替换标准词汇嵌入，来增强生成式检索模型的方法。通过结合参数化与非参数化嵌入空间，Np Decoding 在单跳数据集上的 R-precision 提升 4.4%，在多跳数据集上的 Recall@2 提升 5.4%，并展现出强大的零样本与数据效率。

ABSTRACT

The generative retrieval model depends solely on the information encoded in its model parameters without external memory, its information capacity is limited and fixed. To overcome the limitation, we propose Nonparametric Decoding (Np Decoding) which can be applied to existing generative retrieval models. Np Decoding uses nonparametric contextualized vocab embeddings (external memory) rather than vanilla vocab embeddings as decoder vocab embeddings. By leveraging the contextualized vocab embeddings, the generative retrieval model is able to utilize both the parametric and nonparametric space. Evaluation over 9 datasets (8 single-hop and 1 multi-hop) in the document retrieval task shows that applying Np Decoding to generative retrieval models significantly improves the performance. We also show that Np Decoding is data- and parameter-efficient, and shows high performance in the zero-shot setting.

研究动机与目标

• 为克服完全参数化生成式检索模型的信息容量固定问题。
• 通过引入非参数化解码机制，解决双编码器与生成式检索模型中的嵌入空间瓶颈问题。
• 使生成式检索模型能够在无需外部内存开销的情况下，同时利用参数化与非参数化知识空间。
• 通过上下文感知的非参数化词汇嵌入，提升低资源与零样本设置下的性能。
• 证明在上下文嵌入编码器上进行对比学习可提升检索有效性。

提出的方法

• 用来自冻结编码器（CE 编码器）的上下文嵌入替换标准解码器词汇嵌入，以构建非参数化空间。
• 通过预训练语言模型编码器的输出表示构建上下文嵌入矩阵（CE），仅添加检索目标序列（如标题）作为样本。
• 在训练与推理过程中冻结 CE 编码器，确保非参数化空间保持固定且具备上下文敏感性。
• 允许每个 token 在 CE 矩阵中拥有多个嵌入，从而实现上下文依赖的表示与更精细的语义区分。
• 使用对比学习训练 CE 编码器，以提升上下文嵌入的质量与聚类效果。
• 以最小的架构改动将 Np Decoding 集成到现有生成式检索模型中，支持训练与推理。

实验结果

研究问题

• RQ1 非参数化解码能否显著提升现有生成式检索模型的性能？
• RQ2 使用上下文感知的非参数化词汇嵌入如何影响单跳与多跳任务中的检索准确率？
• RQ3 CE 编码器的对比预训练在多大程度上提升了检索性能？
• RQ4 Np Decoding 是否能在零样本与低数据设置下实现优异性能？
• RQ5 与标准的原始嵌入相比，非参数化空间是否提供了更具表现力与细粒度的嵌入空间？

主要发现

• 与原始解码相比，Np Decoding 在单跳检索数据集上的 R-precision 提升 4.4%。
• 在多跳检索数据集上，Np Decoding 将 Recall@2 提升 5.4%，展现出强大的泛化能力。
• 在 CE 编码器预训练过程中使用对比学习，显著且可度量地提升了检索任务的性能。
• 采用 Np Decoding 的生成式检索模型展现出高度的数据与参数效率，在训练数据有限时仍能保持强大性能。
• CE 创建的上下文嵌入空间极具表现力，token 会根据上下文被映射到多个空间聚类中，从而实现上下文敏感的表示。
• 定性分析表明，CE 空间中的聚类能将语义一致的文档类型（如林肯相关文档、音乐专辑）分组，验证了模型对上下文的理解能力。