[论文解读] Multi-stream RNN for Merchant Transaction Prediction

Zhongfang Zhuang, Chin‐Chia Michael Yeh+3 more|arXiv (Cornell University)|Jul 25, 2020

Time Series Analysis and Forecasting参考文献 9被引用 4

一句话总结

本文提出了一种多流RNN模型，通过分别处理每日时间序列数据的多个RNN流，再通过融合层和每周RNN进行长期预测，从而预测多变量、多步的商户交易模式。该模型在真实世界交易数据上的表现优于最先进方法，展示了在多个商户类别中预测未来交易趋势的更高准确性。

ABSTRACT

Recently, digital payment systems have significantly changed people's lifestyles. New challenges have surfaced in monitoring and guaranteeing the integrity of payment processing systems. One important task is to predict the future transaction statistics of each merchant. These predictions can thus be used to steer other tasks, ranging from fraud detection to recommendation. This problem is challenging as we need to predict not only multivariate time series but also multi-steps into the future. In this work, we propose a multi-stream RNN model for multi-step merchant transaction predictions tailored to these requirements. The proposed multi-stream RNN summarizes transaction data in different granularity and makes predictions for multiple steps in the future. Our extensive experimental results have demonstrated that the proposed model is capable of outperforming existing state-of-the-art methods.

研究动机与目标

• 解决在实时支付系统中预测商户多变量、多步交易模式的挑战。
• 对多个时间步长内交易特征（如交易量、金额、平均值）之间的相互依赖关系进行建模。
• 通过多流架构捕捉每日和每周时间模式，提升长期预测的准确性。
• 为支付生态系统中的交易监控和异常检测提供可扩展且灵活的深度学习框架。
• 在来自不同商户类别的真实世界聚合交易数据上验证模型的有效性。

提出的方法

• 模型为每周每一天分别使用独立的RNN（LSTM或GRU）处理每小时交易数据，以捕捉每日模式。
• 通过融合层将各日同一小时的RNN输出在相同时间点进行聚合，形成统一的时间表示。
• 每周RNN处理24个融合后的时间步长（每小时一个），以学习高层次的每周模式和依赖关系。
• 全连接层为未来24小时中的每一小时生成预测，每个多变量特征设有独立的输出头。
• 引入一种压缩堆叠RNN变体，以提升训练稳定性与收敛性，尤其适用于更深的网络结构。
• 在每个RNN之后应用0.2的dropout正则化，以防止过拟合。

实验结果

研究问题

• RQ1 多流RNN架构能否有效建模不同商户类型下的多变量、多步交易预测？
• RQ2 通过独立的RNN流建模每日模式，相比单流RNN，能否显著提升长期预测性能？
• RQ3 引入压缩堆叠RNN在多大程度上提升了模型性能与收敛性？
• RQ4 该模型在餐厅、医疗保健服务和零售等多样化商户类别中的泛化能力如何？
• RQ5 与现有基于RNN的基线方法相比，该模型是否更好地保留了多个未来时间步长之间的时序依赖关系？

主要发现

• 在24组实验设置中的19组中，采用压缩堆叠RNN的多流RNN在非归一化RMSE指标上优于所有基线方法。
• 在使用压缩堆叠RNN时，17组实验中模型的归一化RMSE更优，表明泛化能力得到提升。
• 对于餐厅类商户，模型预测结果在密度图中与真实值高度吻合，第23个未来时间点的分布重叠明显。
• 可视化分析表明，MS-RNN在长期预测（如第23小时）中比SOTA RNN更准确地捕捉了交易模式。
• 增加网络深度虽提升了形状建模能力（归一化RMSE更高），但对LSTM的RMSE略有下降，对GRU则显著下降，表明架构设计中存在权衡。
• 该模型在多样化商户类别（包括餐厅、医疗保健服务和零售）中均表现出稳健性能，且在所有类别中均一致优于基线方法。