[论文解读] One Person, One Model, One World: Learning Continual User Representation without Forgetting

Fajie Yuan, Guoxiao Zhang+4 more|arXiv (Cornell University)|Sep 29, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用 15

一句话总结

Conure 是首个持续学习用户表征的终身用户表征模型，能够在不发生灾难性遗忘的情况下，持续地在不同任务间学习用户嵌入表示。通过在单一共享主干网络中迭代剪枝不重要的权重，它在保持旧任务性能的同时适应新任务，与标准、多任务和迁移学习基线方法相比，仅需极少的存储开销即可实现更优性能。

ABSTRACT

Learning user representations is a vital technique toward effective user modeling and personalized recommender systems. Existing approaches often derive an individual set of model parameters for each task by training on separate data. However, the representation of the same user potentially has some commonalities, such as preference and personality, even in different tasks. As such, these separately trained representations could be suboptimal in performance as well as inefficient in terms of parameter sharing. In this paper, we delve on research to continually learn user representations task by task, whereby new tasks are learned while using partial parameters from old ones. A new problem arises since when new tasks are trained, previously learned parameters are very likely to be modified, and as a result, an artificial neural network (ANN)-based model may lose its capacity to serve for well-trained previous tasks forever, this issue is termed catastrophic forgetting. To address this issue, we present \emph{Conure} the first \underline{con}tinual, or lifelong, \underline{u}ser \underline{re}presentation learner -- i.e., learning new tasks over time without forgetting old ones. Specifically, we propose iteratively removing less important weights of old tasks in a deep user representation model, motivated by the fact that neural network models are usually over-parameterized. In this way, we could learn many tasks with a single model by reusing the important weights, and modifying the less important weights to adapt to new tasks. We conduct extensive experiments on two real-world datasets with nine tasks and show that \emph{Conure} largely exceeds the standard model that does not purposely preserve such old "knowledge", and performs competitively or sometimes better than models which are trained either individually for each task or simultaneously by merging all task data.

研究动机与目标

• 解决终身用户表征学习中的灾难性遗忘问题，即模型在学习新任务时性能下降的问题。
• 使单一统一模型能够服务于多个多样化的用户相关任务（如推荐、用户画像预测），而无需重新训练或存储独立模型。
• 通过复用并选择性地修改跨任务的参数，而非为每个任务训练独立模型，从而减少存储和计算开销。
• 开发一种实用、可扩展且与架构无关的终身用户建模框架，支持顺序任务学习，且遗忘程度最小。

提出的方法

• 提出 Conure，一种终身用户表征模型，通过迭代剪枝从先前训练任务中移除不重要的参数，以保留关键知识。
• 在深度神经网络的中间层应用结构化重要性剪枝，释放新任务的容量，同时保持旧任务的性能。
• 通过微调方式在剪枝后的模型上训练新任务，使网络仅通过修改不重要的权重即可实现自适应。
• 将剪枝扩展至嵌入层，并评估其对模型容量和性能的影响，证明剪枝嵌入层可进一步释放空间以支持未来学习。
• 将 Conure 与基于 Transformer 的架构结合，验证其在卷积网络之外的适应性，并展示其具有线性复杂度优势的竞争力表现。
• 使用单一主干网络服务所有任务，消除对多个模型或联合训练的需求，实现顺序且无遗忘的持续学习。

实验结果

研究问题

• RQ1 单一深度神经网络能否在不发生灾难性遗忘的情况下，持续学习多个多样化任务的用户表征？
• RQ2 动态权重剪枝在保留旧任务知识的同时，对新任务适应性的有效性如何？
• RQ3 Conure 在性能和存储效率方面是否优于标准单任务、多任务和迁移学习基线方法？
• RQ4 Conure 是否可有效应用于不同主干架构（如 Transformer），并在不同序列长度和任务类型下保持性能？

主要发现

• 与不保留旧知识的标准模型相比，Conure 在 ML 数据集的 T2 任务中实现了 MRR@5 10.9% 的相对提升。
• Conure 在性能上达到或优于为每个任务单独训练的模型或通过数据融合联合训练的模型，同时显著减少存储占用。
• 在剪枝 50% 参数后，Conure 在 T2 任务（ML 数据集）上的 MRR@5 从 0.0183 提升至 0.0203，表明对参数减少具有强鲁棒性。
• 剪枝至 80% 参数时仍保持良好性能，但剪枝 95% 会导致收敛变慢或性能下降，表明最优剪枝范围为 50%-80%。
• 将剪枝扩展至嵌入层可释放额外容量，结果与主实验相当，从而为未来任务学习提供更好支持。
• 当使用 Transformer 主干网络时，Conure 保持强性能，并在三个任务间实现持续迁移，由于其终身学习能力，优于 FineAll（一次性迁移方法）。