[论文解读] Ultra-Fast, Low-Storage, Highly Effective Coarse-grained Selection in Retrieval-based Chatbot by Using Deep Semantic Hashing

Tian Lan, Xian-Ling Mao+3 more|arXiv (Cornell University)|Dec 17, 2020

Advanced Image and Video Retrieval Techniques参考文献 22被引用 6

一句话总结

该论文提出 DSHC，一种用于检索式聊天机器人中超快速、低存储粗粒度响应选择的深度语义哈希方法。通过在预训练的密集表示模型之上堆叠双自编码器哈希模块，并使用三种损失函数进行优化，DSHC 在显著降低存储和搜索时间的同时，实现了接近密集表示的性能——在搜索速度上比 BM25 快 15 倍，索引存储量仅为 1.7–6.7 MB，同时保持了较高的有效性。

ABSTRACT

We study the coarse-grained selection module in retrieval-based chatbot. Coarse-grained selection is a basic module in a retrieval-based chatbot, which constructs a rough candidate set from the whole database to speed up the interaction with customers. So far, there are two kinds of approaches for coarse-grained selection module: (1) sparse representation; (2) dense representation. To the best of our knowledge, there is no systematic comparison between these two approaches in retrieval-based chatbots, and which kind of method is better in real scenarios is still an open question. In this paper, we first systematically compare these two methods from four aspects: (1) effectiveness; (2) index stoarge; (3) search time cost; (4) human evaluation. Extensive experiment results demonstrate that dense representation method significantly outperforms the sparse representation, but costs more time and storage occupation. In order to overcome these fatal weaknesses of dense representation method, we propose an ultra-fast, low-storage, and highly effective Deep Semantic Hashing Coarse-grained selection method, called DSHC model. Specifically, in our proposed DSHC model, a hashing optimizing module that consists of two autoencoder models is stacked on a trained dense representation model, and three loss functions are designed to optimize it. The hash codes provided by hashing optimizing module effectively preserve the rich semantic and similarity information in dense vectors. Extensive experiment results prove that, our proposed DSHC model can achieve much faster speed and lower storage than sparse representation, with limited performance loss compared with dense representation. Besides, our source codes have been publicly released for future research.

研究动机与目标

• 系统比较检索式聊天机器人中稀疏方法（如 BM25）与密集方法（如 BERT 基模型）在四个维度上的表现：有效性、搜索时间、存储空间和人工评估。
• 解决密集表示方法带来的高计算与存储成本问题，尽管其性能优越，但限制了实际部署。
• 设计一种基于哈希的粗粒度选择方法，在大幅降低存储和搜索延迟的同时，保留语义相似性。
• 通过在四个公开的响应选择数据集上进行大量实验以及人工评估，验证所提方法的有效性。

提出的方法

• 提出两阶段 DSHC 模型：首先，使用预训练的密集表示模型（如 BERT）为话语生成密集嵌入。
• 在密集表示之上堆叠一个由两个自编码器组成的哈希优化模块，以学习紧凑的二进制哈希码。
• 使用三种损失函数优化自编码器：保留损失（用于保持语义相似性）、哈希损失（用于强制实现二值约束）和量化损失（用于最小化重建误差）。
• 利用学习到的哈希码通过汉明距离计算实现高效相似性搜索，从而实现快速且内存高效的候选检索。
• 通过反向传播端到端训练整个 DSHC 模型，确保哈希码能够保留原始密集向量中的丰富语义和相似性信息。
• 在 GPU 上部署模型以实现高速推理，利用汉明距离计算中的并行性优势。

实验结果

研究问题

• RQ1 稀疏方法（如 BM25）与密集方法（如 BERT 基模型）在检索式聊天机器人中的有效性、搜索时间、存储空间和人工偏好方面有何差异？
• RQ2 基于哈希的方法是否能在实现超快速搜索和低存储的同时，保持密集表示的语义质量？
• RQ3 使用从深度语义表示中提取的哈希码时，性能与效率之间的权衡如何？
• RQ4 所提出的 DSHC 模型在人工评估和标准检索指标上与 BM25 及密集基线相比表现如何？
• RQ5 所提出的哈希模块在降低维度和存储空间的同时，能在多大程度上保持语义相似性？

主要发现

• 密集表示方法在有效性上显著优于稀疏方法（如 BM25），在 LCCC 数据集上的相关性得分高达 0.9832，但需要 1.2–4.8 GB 存储空间和 122–572 ms 搜索时间。
• DSHC-128 在电商数据集上相比 BM25 实现了 15 倍的速度提升（每次查询 4ms vs. 89.5ms），且仅需 1.7 MB 索引存储——远低于密集模型。
• DSHC-128 在电商数据集上达到 Top-20 召回率 0.185，在 Zh50w 数据集上为 0.027，优于 BM25（分别为 0.025 和 0.0627），并接近密集模型性能。
• 人工评估显示，DSHC 在与密集模型的对比中胜出 31.33–53.17% 的比较，在与 BM25 的对比中胜出 47.67–60.17%，且 Cohen’s kappa 系数达 0.67–0.85，表明标注者一致性高。
• DSHC-512 在 LCCC 数据集上实现接近密集性能（如相关性 0.944），存储仅需 24 MB，搜索时间 23.5 ms，实现了速度、大小与准确率的优异平衡。
• 所提出的 DSHC 模型相比密集模型将存储量降低了 99%以上（例如在 LCCC 数据集上从 4.8 GB 降至 24 MB），同时保持了高检索质量。