[论文解读] Sequential Deep Learning for Credit Risk Monitoring with Tabular Financial Data

Jillian M. Clements, Di Xu+2 more|arXiv (Cornell University)|Dec 30, 2020

Financial Distress and Bankruptcy Prediction参考文献 25被引用 11

一句话总结

本文提出一种基于时间卷积网络（TCNs）的序列深度学习方法，并结合一种新颖的交易采样技术，以提升在表格型金融数据上的信用风险监控效果。通过利用一年期的历史交易序列而无需引入新特征，该方法在生产就绪的在线学习环境中，显著优于梯度提升决策树（GBDT），每年减少数千万美元的金融损失，并实现更早的风险检测。

ABSTRACT

Machine learning plays an essential role in preventing financial losses in the banking industry. Perhaps the most pertinent prediction task that can result in billions of dollars in losses each year is the assessment of credit risk (i.e., the risk of default on debt). Today, much of the gains from machine learning to predict credit risk are driven by gradient boosted decision tree models. However, these gains begin to plateau without the addition of expensive new data sources or highly engineered features. In this paper, we present our attempts to create a novel approach to assessing credit risk using deep learning that does not rely on new model inputs. We propose a new credit card transaction sampling technique to use with deep recurrent and causal convolution-based neural networks that exploits long historical sequences of financial data without costly resource requirements. We show that our sequential deep learning approach using a temporal convolutional network outperformed the benchmark non-sequential tree-based model, achieving significant financial savings and earlier detection of credit risk. We also demonstrate the potential for our approach to be used in a production environment, where our sampling technique allows for sequences to be stored efficiently in memory and used for fast online learning and inference.

研究动机与目标

• 为解决梯度提升决策树（GBDT）在信用风险监控中的局限性，特别是其无法建模长期时间模式以及不支持在线学习的问题。
• 探索深度学习模型（特别是RNN和TCN）在表格型金融数据上的潜力，以实现更优的信用风险预测，且不依赖新数据源或特征工程。
• 开发一种可扩展、内存高效的采样方法，从一年期历史数据中生成具有代表性的交易序列，以降低噪声和计算成本。
• 在离线与在线学习设置下评估序列深度学习模型的性能，重点关注其在生产环境中的实时适用性。
• 证明序列深度学习相比当前基于GBDT的系统，可在实现更优财务节约的同时实现更早的风险检测。

提出的方法

• 开发了一种新颖的交易采样技术，从一年期信用卡交易数据中构建固定长度的序列，从而在降低内存与计算开销的同时，实现对长期行为趋势的有效建模。
• 采用时间卷积网络（TCNs）处理序列化表格数据，利用空洞卷积捕捉长程依赖关系，避免RNN存在的梯度消失问题。
• 模型在12个月交易数据序列上进行端到端训练，每个序列代表一位持卡人的财务历史，预测未来1.5年内违约的概率。
• 通过逐步使用新月度数据更新模型权重，实现在线学习，使模型能够适应经济环境变化与消费者行为演变。
• 避免依赖个人身份数据以确保公平性与隐私合规性，仅使用交易与账户相关特征。
• 采用标准指标（如基尼系数、AUC与召回率）评估性能，并与基准GBDT模型进行对比。

实验结果

研究问题

• RQ1 序列深度学习模型（如TCN）是否能在仅使用现有表格型金融数据的前提下，超越非序列的树基模型在信用风险监控中的表现？
• RQ2 所提出的采样方法是否能在降低计算与内存成本的同时，实现对长期金融行为的有效建模？
• RQ3 TCN模型是否能在信用风险的早期检测方面优于基准GBDT模型？
• RQ4 在线学习是否可在生产环境的序列深度学习模型中实现且有效？
• RQ5 不同序列长度下模型性能如何变化？更长的历史上下文是否能提升预测准确性？

主要发现

• TCN模型在财务节约方面优于基准GBDT模型，每年实现数千万美元的损失减少。
• TCN在12个月回溯窗口下表现最佳，基尼系数与召回率随序列长度增加呈线性提升。
• 在所有序列长度下，TCN均优于LSTM，证明空洞卷积在捕捉金融序列长期模式方面的有效性。
• 通过渐进式权重更新实现的在线学习显著提升了模型性能，相比随机权重初始化，使模型能适应新数据而无需从头训练。
• TCN的训练时间约为每小批量30ms（V100 GPU），推理时间低于1ms，适合在生产环境中实现实时部署。
• 即使在采样序列上，模型仍保持高性能，证明代表性采样可在不牺牲预测能力的前提下降低噪声与计算成本。