[论文解读] T2G-Former: Organizing Tabular Features into Relation Graphs Promotes Heterogeneous Feature Interaction

Jiahuan Yan, Jintai Chen+3 more|arXiv (Cornell University)|Nov 30, 2022

Advanced Graph Neural Networks被引用 5

一句话总结

T2G-Former 提出了一种新型图估计器，可从表格特征中自动构建关系图，以在基于 Transformer 的架构中实现结构化、异质的特征交互。通过将特征组织为知识引导的图结构，该方法提升了模型的表达能力，并在表格数据的深度神经网络中实现了最先进性能，超越了先前方法，在预测精度上与 XGBoost 相当。

ABSTRACT

Recent development of deep neural networks (DNNs) for tabular learning has largely benefited from the capability of DNNs for automatic feature interaction. However, the heterogeneity nature of tabular features makes such features relatively independent, and developing effective methods to promote tabular feature interaction still remains an open problem. In this paper, we propose a novel Graph Estimator, which automatically estimates the relations among tabular features and builds graphs by assigning edges between related features. Such relation graphs organize independent tabular features into a kind of graph data such that interaction of nodes (tabular features) can be conducted in an orderly fashion. Based on our proposed Graph Estimator, we present a bespoke Transformer network tailored for tabular learning, called T2G-Former, which processes tabular data by performing tabular feature interaction guided by the relation graphs. A specific Cross-level Readout collects salient features predicted by the layers in T2G-Former across different levels, and attains global semantics for final prediction. Comprehensive experiments show that our T2G-Former achieves superior performance among DNNs and is competitive with non-deep Gradient Boosted Decision Tree models.

研究动机与目标

• 解决表格数据中异质特征交互的挑战，其中特征存在于多样化、非均匀的特征空间中，且通常相互独立。
• 克服全连接或分组式特征交互机制的局限性，这些机制可能引入噪声或无法有效建模组内关系。
• 开发一种可学习的、基于知识的关系图结构，以捕捉有意义的特征依赖关系，同时过滤无关或噪声的交互。
• 设计一种定制化的 Transformer 架构（T2G-Former），将关系图整合到自注意力机制中，实现结构化的特征交互。
• 在保持深度学习模型可微性和可扩展性的前提下，实现与梯度提升树模型（如 XGBoost）相当的性能。

提出的方法

• 提出一种图估计器（GE），通过使用可微的自适应边权重机制建模成对特征关系，学习一种静态的、基于知识的关系图（FR-Graph）。
• 利用基于领域知识预定义的拓扑结构构建关系图，通过可微的注意力类似机制学习边权重，以反映特征之间的相关性强弱。
• 将 FR-Graph 集成到 Transformer 编码器的自注意力机制中，实现相关特征之间结构化、图感知的消息传递。
• 设计一种跨层级读出模块，聚合多个 Transformer 层中的显著特征，以捕捉层次化表征并生成最终预测。
• 使用特征分词器将原始表格特征嵌入共享潜在空间，以实现与 Transformer 框架的兼容性。
• 采用标准分类或回归损失端到端训练模型，FR-Graph 拓扑结构在训练过程中保持固定，以确保可解释性和稳定性。

实验结果

研究问题

• RQ1 与全连接或分组式方法相比，可学习的、基于知识的关系图是否能提升表格数据中的特征交互？
• RQ2 通过图拓扑结构化特征交互，是否能提升模型在表格基准上的性能和泛化能力？
• RQ3 拓扑选择（静态、自适应或自由）如何影响模型性能和计算复杂度？
• RQ4 关系图和读出机制能否提供关于哪些特征和关系最具预测性的可解释洞察？
• RQ5 T2G-Former 在表格学习任务中在多大程度上达到或超越非深度学习模型（如 XGBoost）的性能？

主要发现

• 在 CA 数据集上，T2G-Former 的测试准确率为 45.53%（CA × 100），Jaccard 得分为 73.68%，优于基线 DANet 模型的 45.88% 和 73.08%。
• 静态知识引导的拓扑结构（本文方法）在性能上优于自适应和自由拓扑设置，表明先验领域知识有助于提升泛化能力。
• 与 DANet 的分组式交互相比，基于图的交互机制在准确率上降低 0.35%，Jaccard 得分降低 0.60，证明图级结构相比分组级结构更具优势。
• 跨层级读出模块通过跨层收集显著特征，有效捕捉全局语义，从而提升最终预测性能。
• FR-Graph 和读出机制的可视化揭示了可解释的、语义上有意义的特征关系（如 Age–EstimatedSalary、Balance–CreditScore），验证了模型的可解释性。
• 由于固定且稀疏的拓扑结构，模型保持了较低的计算复杂度（O(N log N)），而自由拓扑结构的复杂度呈二次方增长（O(N²)）。