[论文解读] TabGSL: Graph Structure Learning for Tabular Data Prediction

Jay Chiehen Liao, Cheng–Te Li|arXiv (Cornell University)|May 25, 2023

Data Quality and Management被引用 4

一句话总结

TabGSL 提出了一种新颖的表格数据预测图结构学习框架，通过对比学习模块、基于 Transformer 的特征提取器和图神经网络，联合学习实例相关性和特征交互。该方法在 30 个基准数据集上实现了最先进性能，优于基于树的模型和近期的深度学习模型。

ABSTRACT

This work presents a novel approach to tabular data prediction leveraging graph structure learning and graph neural networks. Despite the prevalence of tabular data in real-world applications, traditional deep learning methods often overlook the potentially valuable associations between data instances. Such associations can offer beneficial insights for classification tasks, as instances may exhibit similar patterns of correlations among features and target labels. This information can be exploited by graph neural networks, necessitating robust graph structures. However, existing studies primarily focus on improving graph structure from noisy data, largely neglecting the possibility of deriving graph structures from tabular data. We present a novel solution, Tabular Graph Structure Learning (TabGSL), to enhance tabular data prediction by simultaneously learning instance correlation and feature interaction within a unified framework. This is achieved through a proposed graph contrastive learning module, along with transformer-based feature extractor and graph neural network. Comprehensive experiments conducted on 30 benchmark tabular datasets demonstrate that TabGSL markedly outperforms both tree-based models and recent deep learning-based tabular models. Visualizations of the learned instance embeddings further substantiate the effectiveness of TabGSL.

研究动机与目标

• 为解决缺乏直接从表格数据中派生图拓扑而无需依赖预定义图的图结构学习方法的问题。
• 在统一的深度学习框架中联合建模特征交互与实例级相关性，用于表格数据。
• 通过图对比学习学习噪声鲁棒的图结构，以增强表示学习，从而提升表格数据预测性能。
• 证明从表格数据中学习图结构可使深度学习模型在性能上与梯度提升决策树模型相当或更优。

提出的方法

• 提出一种图对比学习模块，采用教师-学生框架，指导从表格数据中学习实例级图结构。
• 采用基于 Transformer 的特征提取器，为表格特征生成上下文嵌入，捕捉特征间的交互关系。
• 将图神经网络（GNN）与学习到的图结构结合，聚合邻域信息并优化实例级表示。
• 采用端到端训练，联合优化图结构学习、特征表示和预测头。
• 在对比学习中应用数据掩码，生成正样本和负样本视图，以优化图结构。
• 利用 t-SNE 可视化分析并比较原始特征、SUBLIME 和 TabGSL 的学习到的实例嵌入质量。

实验结果

研究问题

• RQ1 与现有深度学习和基于树的模型相比，从表格数据中学习图结构是否能提升预测性能？
• RQ2 所提出的对比学习机制在无先验图结构的情况下，是否能有效学习有意义的实例级相关性？
• RQ3 与原始特征或现有 GSL 方法相比，学习到的图结构在嵌入空间中增强了多大程度的类别可分性？
• RQ4 联合建模特征交互与实例关联是否能提升表格数据预测的泛化能力？

主要发现

• TabGSL 在 30 个基准表格数据集上实现了最先进性能，优于梯度提升决策树和近期基于深度学习的表格模型。
• t-SNE 可视化显示，TabGSL 嵌入在类别分离方面显著优于原始特征和 SUBLIME 嵌入，同类别实例聚类更紧密。
• 对比学习模块有效引导图结构反映真实的实例级相关性，表现为聚类和预测准确率的提升。
• 将基于 Transformer 的特征提取与图结构学习相结合，提升了表示质量，使 GNN 能学习到更鲁棒、更具信息量的节点嵌入。
• 该方法证明，仅从表格数据中学习图结构即可实现与基于树的模型相当或更优的性能。
• 学习到的图结构通过基于特征实用性和相似度调整边权重，有助于减轻无关或噪声特征的负面影响。