[论文解读] TabGNN: Multiplex Graph Neural Network for Tabular Data Prediction

Xiawei Guo, Yuhan Quan+4 more|arXiv (Cornell University)|Aug 20, 2021

Advanced Graph Neural Networks参考文献 33被引用 16

一句话总结

本文提出 TabGNN，一种多层图神经网络，通过建模表格数据中多方面的样本关系来提升预测性能。通过基于启发式关系（如相似年龄、教育程度或城市）构建多层图，TabGNN 利用基于注意力的消息传递机制学习增强的样本表征，将其与原始特征拼接后输入现有表格模型，在 11 个数据集上的分类与回归任务中均实现了相对于 AutoFE 的一致性能提升。

ABSTRACT

Tabular data prediction (TDP) is one of the most popular industrial applications, and various methods have been designed to improve the prediction performance. However, existing works mainly focus on feature interactions and ignore sample relations, e.g., users with the same education level might have a similar ability to repay the debt. In this work, by explicitly and systematically modeling sample relations, we propose a novel framework TabGNN based on recently popular graph neural networks (GNN). Specifically, we firstly construct a multiplex graph to model the multifaceted sample relations, and then design a multiplex graph neural network to learn enhanced representation for each sample. To integrate TabGNN with the tabular solution in our company, we concatenate the learned embeddings and the original ones, which are then fed to prediction models inside the solution. Experiments on eleven TDP datasets from various domains, including classification and regression ones, show that TabGNN can consistently improve the performance compared to the tabular solution AutoFE in 4Paradigm.

研究动机与目标

• 解决现有表格预测方法仅关注特征交互而忽略样本关系的局限性。
• 系统性地建模多方面的样本关系（如年龄、教育程度或地理位置的相似性），以提升预测性能。
• 设计一种可泛化、可插拔的框架，与现有表格解决方案（如 AutoFE）兼容。
• 通过实证验证，表明样本关系在多样化的真实场景中携带对表格预测有用的信号。
• 提供一种在性能增益与可接受的计算成本之间取得平衡的方法，适用于工业部署。

提出的方法

• 构建一个多层图，其中节点代表样本，多条边代表基于特征值的多种样本关系（如相同年龄、相同城市）。
• 设计一个多层图神经网络，通过带有可学习注意力权重的层间聚合机制，在多种关系类型之间执行消息传递。
• 使用层内聚合模块，基于每种关系层内的邻居更新节点表征，随后通过层间聚合整合所有关系类型的信息贡献。
• 在 AutoFE 流程的下游预测模型中，将 TabGNN 生成的增强嵌入向量与原始表格特征拼接后输入。
• 使用标准损失函数（如交叉熵或均方误差）进行端到端训练，并采用早停策略防止过拟合。
• 采用基于启发式的关联构建方法（如对连续特征进行分箱或使用类别相似性）来定义多层图中的边，无需外部数据。

实验结果

研究问题

• RQ1 建模多方面的样本关系是否能提升表格数据预测模型的性能？
• RQ2 不同类型的样本关系（如年龄、教育程度、城市）对预测性能的贡献如何？注意力机制能否识别出最具信息量的关系？
• RQ3 基于图神经网络、捕捉样本级依赖关系的方法是否能在表格数据中超越传统特征交互方法？
• RQ4 将此类方法集成到工业级表格预测流水线中的计算成本如何？
• RQ5 该方法在多样化的表格数据集上（包括分类与回归任务）的鲁棒性如何？

主要发现

• 与基线 AutoFE 系统相比，TabGNN 在所有 11 个评估数据集上均一致提升了预测性能，涵盖分类与回归任务。
• 该模型实现了显著的性能增益，其中在 JD 分类数据集上的提升最为明显，训练时间从约 4 小时增加至约 11 小时，表明成本与收益之间具有合理权衡。
• 注意力分数显示，某些关系（如城市或资产相似性）比其他关系更具信息量，且注意力权重更倾向于分配给与领域知识一致的关系，例如在贷款违约预测中基于城市的社会邻近性。
• 在 Data3 的案例研究中，违约用户（正样本）从其违约邻居处获得更高的层内注意力分数，证实样本关系可作为有效的预测信号。
• TabGNN 的计算开销约为 AutoFE 单独运行时的两倍，考虑到其一致的性能提升，该开销被认定为可接受。
• 将 TabGNN 作为插件模块集成到 AutoFE 中极为简便，用户可根据计算预算灵活选择是否启用。