[论文解读] SCM: Enhancing Large Language Model with Self-Controlled Memory Framework

Bing Wang, Xinnian Liang+7 more|arXiv (Cornell University)|Apr 26, 2023

Topic Modeling被引用 4

一句话总结

本文提出 Self-Controlled Memory (SCM)，一种即插即用的框架，使大型语言模型（LLMs）能够在无需模型微调或架构修改的情况下处理超长输入。通过集成记忆控制器、记忆流和基于 LLM 的智能体，SCM 动态选择并注入相关的历史信息，显著提升了基线模型（如 ChatGPT）在长上下文推理和摘要任务中的表现。

ABSTRACT

Large Language Models (LLMs) are constrained by their inability to process lengthy inputs, resulting in the loss of critical historical information. To address this limitation, in this paper, we propose the Self-Controlled Memory (SCM) framework to enhance the ability of LLMs to maintain long-term memory and recall relevant information. Our SCM framework comprises three key components: an LLM-based agent serving as the backbone of the framework, a memory stream storing agent memories, and a memory controller updating memories and determining when and how to utilize memories from memory stream. Additionally, the proposed SCM is able to process ultra-long texts without any modification or fine-tuning, which can integrate with any instruction following LLMs in a plug-and-play paradigm. Furthermore, we annotate a dataset to evaluate the effectiveness of SCM for handling lengthy inputs. The annotated dataset covers three tasks: long-term dialogues, book summarization, and meeting summarization. Experimental results demonstrate that our method achieves better retrieval recall and generates more informative responses compared to competitive baselines in long-term dialogues. (https://github.com/wbbeyourself/SCM4LLMs)

研究动机与目标

• 解决 LLM 因上下文窗口限制和注意力计算成本而难以处理超长输入的问题。
• 使 LLM 能够在不遗忘关键历史信息的前提下，维持并检索相关长期记忆。
• 开发一种即插即用的框架，无需模型微调或架构修改。
• 在长上下文任务（如对话、书籍摘要和会议摘要）上评估该框架。
• 构建一个新的标注数据集，用于基准测试长上下文 LLM 的性能。

提出的方法

• SCM 框架由三个组件构成：基于 LLM 的智能体、用于存储长期记忆的记忆流，以及用于动态记忆管理的记忆控制器。
• 输入文本被分段并迭代处理，记忆控制器决定何时以及如何将记忆流中相关记忆注入 LLM 输入。
• 该框架使用两种记忆类型：激活记忆（长期）和快速记忆（短期），以实现在不同段落间保留历史上下文。
• 记忆检索与重组由记忆控制器引导，其可过滤掉无关或噪声信息，从而减少干扰。
• 系统采用六步工作流：输入获取、记忆激活、记忆检索、记忆重组、输入融合和响应生成。
• 通过在文档段落间传播相关记忆，该框架支持分层和迭代式摘要，以保持连贯性。

实验结果

研究问题

• RQ1 即插即用的框架是否能在不进行微调或模型修改的情况下扩展 LLM 的有效上下文长度？
• RQ2 记忆控制器在多大程度上能有效选择并注入相关历史信息，以提升长上下文理解能力？
• RQ3 SCM 框架在长对话和文档摘要任务中是否优于现有方法？
• RQ4 记忆控制器在多大程度上减少了长输入中历史噪声的影响？
• RQ5 该框架能否在超长文档的分层摘要中保持连贯性？

主要发现

• SCM 框架使非对话优化的 LLM（如 text-davinci-003）在处理超过 200,000 个 token 的输入时，实现了与 ChatGPT 相当的多轮对话能力。
• 在长文档摘要任务中，基于 SCM 的模型在连贯性和覆盖度方面均优于基线模型，尤其在超长输入（最高达 200 万 token）上显著提升了摘要质量。
• 记忆控制器通过仅选择必要记忆进行注入，有效减少了噪声，提升了长对话中检索召回率和响应的信息量。
• 该框架在所有三项评估任务——长期对话、书籍摘要和会议摘要——中均表现出色，且无需任何模型微调。
• 该标注数据集涵盖每条实例 20,000 至 200 万 token 的输入，充分展示了框架处理远超标准 LLM 上下文窗口输入的能力。
• SCM 的即插即用特性使其可无缝集成到任意指令遵循型 LLM 中，显著提升了可扩展性与部署潜力。