[论文解读] UniMS-RAG: A Unified Multi-source Retrieval-Augmented Generation for Personalized Dialogue Systems

Hongru Wang, Wenyu Huang+7 more|arXiv (Cornell University)|Jan 24, 2024

Topic Modeling被引用 8

一句话总结

UniMS-RAG 将知识源规划、检索和应答生成统一到一个单序列到序列框架中，使用 acting 和 evaluation tokens 来管理多源个性化，并通过自我改进循环提升回复。

ABSTRACT

Large Language Models (LLMs) has shown exceptional capabilities in many natual language understanding and generation tasks. However, the personalization issue still remains a much-coveted property, especially when it comes to the multiple sources involved in the dialogue system. To better plan and incorporate the use of multiple sources in generating personalized response, we firstly decompose it into three sub-tasks: Knowledge Source Selection, Knowledge Retrieval, and Response Generation. We then propose a novel Unified Multi-Source Retrieval-Augmented Generation system (UniMS-RAG) Specifically, we unify these three sub-tasks with different formulations into the same sequence-to-sequence paradigm during the training, to adaptively retrieve evidences and evaluate the relevance on-demand using special tokens, called acting tokens and evaluation tokens. Enabling language models to generate acting tokens facilitates interaction with various knowledge sources, allowing them to adapt their behavior to diverse task requirements. Meanwhile, evaluation tokens gauge the relevance score between the dialogue context and the retrieved evidence. In addition, we carefully design a self-refinement mechanism to iteratively refine the generated response considering 1) the consistency scores between the generated response and retrieved evidence; and 2) the relevance scores. Experiments on two personalized datasets (DuLeMon and KBP) show that UniMS-RAG achieves state-of-the-art performance on the knowledge source selection and response generation task with itself as a retriever in a unified manner. Extensive analyses and discussions are provided for shedding some new perspectives for personalized dialogue systems.

研究动机与目标

• 将个性化的知识驱动对话分解为三个子任务：知识源选择、知识检索、和响应生成。
• 在单一的序列到序列模型中统一这些子任务，以使 planner、retriever、和 reader 角色得以实现。
• 通过 special acting tokens 和 evaluation tokens 实现按需相关性评估和与多个知识源的自适应交互。
• 引入自我改进机制，通过考虑证据一致性和上下文相关性，迭代改进生成的回复。

提出的方法

• 在统一的 Seq2Seq 模型中，将知识源选择、检索和生成表述为 token-prediction 任务，使用 acting tokens 和 evaluation tokens。
• 引入特殊 token 以指示源决定和证据相关性，使模型能够规划源的使用并以依赖关系感知的顺序进行检索。
• 以三个目标进行训练：planning loss、relevance-prediction loss 和 response generation loss。
• 通过对相关信号的双路径处理：要么微调一个检索器（DPR），要么提示一个 LLM 提供相似性分数，然后训练 UniMS-RAG 以预测这些信号。
• 在推理阶段，应用自我改进循环，基于更新的证据和组合的一致性-相关性得分重新生成回复。

实验结果

研究问题

• RQ1 大型语言模型是否能够担任 planner，决定是否使用外部来源以及调用哪些来源？
• RQ2 大型语言模型是否能够担任 retriever，从多个来源获取高度相关的证据？
• RQ3 大型语言模型是否能够担任 reader，将检索到的证据融入最终回复？
• RQ4 统一的 UniMS-RAG 框架是否在个性化对话中改善知识源选择和回复生成？

主要发现

• 在个性化对话基准上，使用自身作为检索器时，UniMS-RAG 在知识源选择和回复生成上实现了state-of-the-art性能。
• 该框架支持独立和相互依赖的知识源，并且可以适应不同的源关系。
• 推理过程中的自我改进通过重新评估证据的一致性和上下文相关性来提高回复的 grounding。
• 该方法在两个个性化数据集 DuLeMon 和 KBP 上表现出鲁棒性，并附有广泛的分析和人工评估。