[论文解读] Prompt-augmented Temporal Point Process for Streaming Event Sequence

Siqiao Xue, Yan Wang+8 more|arXiv (Cornell University)|Oct 8, 2023

Human Pose and Action RecognitionComputer Science被引用 3

一句话总结

PromptTPP 提出了一种新颖的持续学习框架，用于流式事件序列，采用连续时间检索提示池，实现高效、内存高效的、与任务无关的学习，无需回放缓冲区或任务身份。通过联合优化可学习提示和基础神经时间点过程，该方法在三个真实世界用户行为数据集上实现了最先进性能。

ABSTRACT

Neural Temporal Point Processes (TPPs) are the prevalent paradigm for modeling continuous-time event sequences, such as user activities on the web and financial transactions. In real-world applications, event data is typically received in a \emph{streaming} manner, where the distribution of patterns may shift over time. Additionally, \emph{privacy and memory constraints} are commonly observed in practical scenarios, further compounding the challenges. Therefore, the continuous monitoring of a TPP to learn the streaming event sequence is an important yet under-explored problem. Our work paper addresses this challenge by adopting Continual Learning (CL), which makes the model capable of continuously learning a sequence of tasks without catastrophic forgetting under realistic constraints. Correspondingly, we propose a simple yet effective framework, PromptTPP\footnote{Our code is available at {\small \url{ https://github.com/yanyanSann/PromptTPP}}}, by integrating the base TPP with a continuous-time retrieval prompt pool. The prompts, small learnable parameters, are stored in a memory space and jointly optimized with the base TPP, ensuring that the model learns event streams sequentially without buffering past examples or task-specific attributes. We present a novel and realistic experimental setup for modeling event streams, where PromptTPP consistently achieves state-of-the-art performance across three real user behavior datasets.

研究动机与目标

• 解决在隐私和内存限制等现实约束下，流式事件序列持续学习的挑战。
• 克服神经时间点过程（TPPs）在实时处理序列数据时出现的灾难性遗忘问题。
• 开发一种与任务无关、内存高效的持续学习方法，避免使用回放缓冲区，且在推理阶段无需任务身份。
• 通过可学习提示机制，实现时间点过程在连续时间事件建模中的有效知识迁移与可塑性。

提出的方法

• 引入一个连续时间检索提示池，将小型可学习参数作为提示存储在键值内存空间中。
• 设计一种动态检索机制，通过查询-键匹配从输入事件序列中选择与任务相关的提示。
• 通过生成损失联合优化基础神经TPP和提示池，以保留共享知识并适应特定任务的模式。
• 实现一种异步提示更新机制，刷新频率为 $C$，以提升训练效率而不降低性能。
• 在键值共享内存空间中组织提示，以解耦查询与提示学习，提升检索准确性和模型稳定性。
• 通过将提示池作为模块化、即插即用的组件，确保与任何神经TPP架构的兼容性。

Figure 1 : Overview of the classical schemes and PromptTPP framework for streaming event sequences.

实验结果

研究问题

• RQ1 在流式、实时数据条件下，提示增强框架能否有效缓解神经时间点过程中的灾难性遗忘？
• RQ2 在流式事件建模中，基于检索的提示机制与传统的回放基或依赖任务身份的持续学习方法相比表现如何？
• RQ3 提示池大小、提示长度和选择大小在多大程度上影响持续事件序列学习中的模型性能与泛化能力？
• RQ4 所提出方法是否能在真实部署场景中实现最先进性能，同时保持低内存和计算开销？
• RQ5 异步提示更新策略在加速收敛方面有多有效，且是否不会降低预测性能？

主要发现

• PromptTPP 在三个真实世界用户行为数据集（Amazon、Taobao 及另一未指定数据集）的流式、持续学习设置下实现了最先进性能。
• 与基础TPP相比，模型总参数量仅增加8–12%，对训练速度影响极小，展现出极高的参数效率。
• 采用 $C=2$ 的异步提示更新在Amazon数据集上显著提升了收敛速度，同时保持了竞争力的性能，表明其具备良好的可扩展性与效率。
• 移除键值提示设计（w/o CtRroPP）导致性能明显下降，证实结构化提示检索对知识保留至关重要。
• 用平均池化替代可学习键（w/o k-v）导致性能中等程度下降，表明可学习键显著提升了检索准确性和模型稳定性。
• 增加提示池大小 $M$ 会持续提升性能，证实更大的提示容量能增强知识编码与迁移能力。

Figure 2 : Overview of PromptTPP. Up: At training time, PromptTPP selects a subset of temporal prompts from a key-value paired CtRetroPromptPool based on our proposed retrieval mechanism; then it prepends the selected prompts to the event representations; finally it feeds the extended event represen