[论文解读] Revisiting Deep Learning Models for Tabular Data

Yury Gorishniy, Ivan Rubachev+2 more|arXiv (Cornell University)|Jun 22, 2021

Advanced Neural Network Applications参考文献 60被引用 115

一句话总结

这篇论文对表格数据的深度学习模型进行了公平、大规模的比较，提出了两种强基线（ResNet 风格和 FT-Transformer），并显示 FT-Transformer 往往获胜，而没有模型能够普遍击败 Gradient Boosted Decision Trees (GBDT)。

ABSTRACT

The existing literature on deep learning for tabular data proposes a wide range of novel architectures and reports competitive results on various datasets. However, the proposed models are usually not properly compared to each other and existing works often use different benchmarks and experiment protocols. As a result, it is unclear for both researchers and practitioners what models perform best. Additionally, the field still lacks effective baselines, that is, the easy-to-use models that provide competitive performance across different problems. In this work, we perform an overview of the main families of DL architectures for tabular data and raise the bar of baselines in tabular DL by identifying two simple and powerful deep architectures. The first one is a ResNet-like architecture which turns out to be a strong baseline that is often missing in prior works. The second model is our simple adaptation of the Transformer architecture for tabular data, which outperforms other solutions on most tasks. Both models are compared to many existing architectures on a diverse set of tasks under the same training and tuning protocols. We also compare the best DL models with Gradient Boosted Decision Trees and conclude that there is still no universally superior solution.

研究动机与目标

• 在统一的训练与调参协议下评估代表性的表格数据深度学习体系结构。
• 识别在多样的表格任务中始终表现良好的简单、稳健的基线。
• 评估深度学习模型是否能在普遍意义上超越 GBDT，以及它们在哪些方面表现出色或在哪些方面失利。
• 就未来表格数据 DL 研究提供模型选择和基线的实际指南。

提出的方法

• 使用通用预处理与训练协议，评估并重新实现用于表格数据的主要深度学习架构。
• 提出两种简单基线：一个 ResNet 风格的架构和 FT-Transformer（为表格数据改写的 Transformer）。
• 在十一個公开表格数据集上进行大规模实验，采用一致的训练/验证/测试划分。
• 使用 Optuna 调参并比较单模型与集成模型。
• 在默认与调优超参数下，将深度模型与 GBDT（XGBoost、CatBoost）进行比较。
• 分析在何时 FT-Transformer 的表现优于 ResNet，并研究其在不同任务中的普遍性。

实验结果

研究问题

• RQ1 在统一协议下，哪些深度学习架构在表格数据上提供最佳性能？
• RQ2 简单基线（ResNet 风格和 FT-Transformer）是否在多样化任务中提供稳健、强劲的性能？
• RQ3 深度模型与 GBDT 在表格问题上是否存在普遍的胜者？
• RQ4 在何种条件下 FT-Transformer 优于 ResNet，以及原因何在？

主要发现

• FT-Transformer 在大多数任务中胜出，提供对数据集更广泛的普适性。
• 一个 ResNet 风格的架构作为一个出乎意料强大且简单的基线，其他模型并不能始终打败。
• MLP 仍然是一个合理的基线，但适当的调参会让简单基线变得有竞争力。
• 深度模型和 GBDT 之间没有普遍优越的解；性能取决于数据集。
• 集成方法放大 DL 模型性能，FT-Transformer 的集成尤具竞争力。
• 与 GBDT 相比，DL 模型在许多任务上表现更好，但经过调优的 GBDT 仍在某些数据集（如 California Housing、Adult）占据优势。