[论文解读] User-Dependent Neural Sequence Models for Continuous-Time Event Data

Alex Boyd, Robert Bamler+2 more|arXiv (Cornell University)|Nov 6, 2020

Machine Learning in Healthcare被引用 4

一句话总结

本文通过将变分推断与专家混合方法相结合，提出了一种用于连续时间事件数据的用户相关神经序列模型，以学习个体用户的个性化潜在嵌入。该方法在四个真实世界数据集上，通过建模用户特定的行为模式，在保持泛化能力的同时，提升了多种指标（对数似然、下一事件排序和源识别）的预测性能。

ABSTRACT

Continuous-time event data are common in applications such as individual behavior data, financial transactions, and medical health records. Modeling such data can be very challenging, in particular for applications with many different types of events, since it requires a model to predict the event types as well as the time of occurrence. Recurrent neural networks that parameterize time-varying intensity functions are the current state-of-the-art for predictive modeling with such data. These models typically assume that all event sequences come from the same data distribution. However, in many applications event sequences are generated by different sources, or users, and their characteristics can be very different. In this paper, we extend the broad class of neural marked point process models to mixtures of latent embeddings, where each mixture component models the characteristic traits of a given user. Our approach relies on augmenting these models with a latent variable that encodes user characteristics, represented by a mixture model over user behavior that is trained via amortized variational inference. We evaluate our methods on four large real-world datasets and demonstrate systematic improvements from our approach over existing work for a variety of predictive metrics such as log-likelihood, next event ranking, and source-of-sequence identification.

研究动机与目标

• 解决现有神经标记点过程模型的局限性，即假设所有事件序列均来自单一全局分布，忽略了用户间的异质性。
• 通过引入捕捉个体用户行为特征的个性化表示，提升连续时间事件数据的预测性能。
• 通过利用学习到的用户嵌入进行摊销变分推释，实现在无需微调或重新训练的情况下，对新用户实现高效推理。
• 在多种真实世界数据集中，系统性地展示对数似然、下一事件预测和序列源识别性能的提升。
• 探索基于用户特定建模的个性化任务（如序列推荐、需求预测和异常检测）的可行性。

提出的方法

• 在神经标记点过程模型中引入一个表示用户身份的潜在变量，并将其建模为用户特定专家的混合。
• 采用变分自编码器（VAE）框架与β-VAE目标，从事件序列中学习解耦的用户特定嵌入。
• 应用摊销变分推断在测试阶段推断用户特定的潜在码，从而实现对新用户的零样本个性化。
• 采用专家混合架构，其中每个专家建模特定用户或用户聚类的特征事件动态。
• 通过随机梯度下降端到端训练模型，以最大化观测事件序列对数似然的变分下界。
• 使用事件嵌入和基于RNN的强度函数，基于历史事件和用户身份，建模未来事件的时变条件强度。

实验结果

研究问题

• RQ1 能否将神经标记点过程模型扩展为显式建模连续时间事件序列中的用户特定行为模式？
• RQ2 与用户无关的模型相比，引入用户依赖的潜在嵌入在多大程度上提升了预测性能？
• RQ3 摊销变分推断在多大程度上能够实现在无需重新训练的情况下，高效地为新用户进行个性化？
• RQ4 与单一全局模型相比，专家混合方法是否能更好地捕捉用户间的异质性？
• RQ5 所提出的模型在对数似然、下一事件排序和源识别等多种指标上的表现如何？

主要发现

• 与基线神经MTPP相比，所提出的用户依赖模型在所有四个真实世界数据集上均系统性地提升了保留数据的对数似然性能。
• 在下一事件预测准确率方面，该模型显著优于用户无关的基线模型，尤其在序列初期，此时用户特定上下文至关重要。
• 在序列源识别任务中，该模型表现出色，表明学习到的用户嵌入能够捕捉具有判别性的行为模式。
• 使用β < 1的β-VAE对于训练稳定至关重要，表明其在表示学习方面面临与序列VAE类似的挑战。
• 通过摊销推断，该框架实现了对新用户的零样本个性化，减少了生产环境中对重新训练或微调的需求。
• 该方法为个性化应用（如序列推荐、需求预测和用户特定异常检测）开辟了新可能。