[论文解读] Text Embeddings for Retrieval From a Large Knowledge Base

Tolgahan Çakaloğlu, Christian Szegedy+1 more|arXiv (Cornell University)|Oct 24, 2018

Topic Modeling参考文献 34被引用 5

一句话总结

本文提出一种深度残差神经网络，用于对预训练的文本嵌入进行微调，以提升从大规模知识库中检索的性能，特别针对 SQuAD 数据集。通过使用三元组损失函数并结合困难负样本挖掘来微调 ELMo 嵌入，该方法使基线嵌入的 top-1 段落召回率提高了 14%，表明针对检索任务的微调能显著提升语义检索性能。

ABSTRACT

Text embedding representing natural language documents in a semantic vector space can be used for document retrieval using nearest neighbor lookup. In order to study the feasibility of neural models specialized for retrieval in a semantically meaningful way, we suggest the use of the Stanford Question Answering Dataset (SQuAD) in an open-domain question answering context, where the first task is to find paragraphs useful for answering a given question. First, we compare the quality of various text-embedding methods on the performance of retrieval and give an extensive empirical comparison on the performance of various non-augmented base embedding with, and without IDF weighting. Our main results are that by training deep residual neural models, specifically for retrieval purposes, can yield significant gains when it is used to augment existing embeddings. We also establish that deeper models are superior to this task. The best base baseline embeddings augmented by our learned neural approach improves the top-1 paragraph recall of the system by 14%.

研究动机与目标

• 探究针对检索任务的预训练文本嵌入神经微调是否能提升开放域问答中的检索性能。
• 评估深度残差网络在优化最近邻检索的语义文本嵌入方面的有效性。
• 在 SQuAD 基准上，对比各种嵌入方法（尤其是带 IDF 加权的 ELMo）与神经微调方法的性能。
• 确定如三元组损失等专用损失函数是否优于其他损失函数（如二次回归条件损失）。
• 评估多层表示选择与微调对检索召回率指标的影响。

提出的方法

• 使用深度残差神经网络微调预训练的 ELMo 嵌入，以提升检索任务中的语义表示能力。
• 采用带困难负样本挖掘的三元组损失，以优化问题与相关段落嵌入之间的距离。
• 在神经微调前，通过 IDF 加权增强 ELMo 嵌入的语义相关性。
• 采用双流架构：一个用于问题编码，一个用于段落编码，两者均通过残差网络进行优化。
• 使用对比学习目标，使相关（正样本）对在嵌入空间中更接近，无关（负样本）对更远离。
• 使用 SQuAD 知识库上的 recall@1 和 top-k 结果的平均召回率来评估性能。

实验结果

研究问题

• RQ1 在预训练嵌入之上训练深度残差网络是否能显著提升开放域问答中的检索性能？
• RQ2 使用带困难负样本挖掘的三元组损失是否能比其他损失函数带来更好的问题与相关段落之间的语义对齐？
• RQ3 带 IDF 加权的 ELMo 嵌入在检索任务中的表现与其它基础嵌入模型相比如何？
• RQ4 与原始 ELMo 基线相比，通过残差网络微调在多大程度上提升了 top-1 召回率？
• RQ5 所提出的方法是否能在检索准确率上超越最先进的通用句子编码器（USE）？

主要发现

• 表现最佳的模型（FCRR + ConvRR，搭配微调后的段落嵌入）实现了 16.1% 的 top-1 召回率，相比基线嵌入实现了 14% 的相对提升。
• 在 ELMo 嵌入上增加微调后的残差网络，使 top-1 召回率相比原始 ELMo 基线提升了 13.56 个百分点。
• 使用带困难负样本挖掘的三元组损失，相比 ELMo + IDF 基线，使 recall@1 提升了 9.36 个百分点的绝对值。
• 二次回归条件损失函数未能提升性能，且表现劣于三元组损失。
• 微调段落嵌入使 recall@1 相比原始 ELMo 基线提升了 7.95 个百分点，平均召回率提升了 20.2 个百分点。
• 尽管性能有所提升，但最佳模型仍逊于完全微调的通用句子编码器（USE）版本，表明仍有进一步优化空间。