[论文解读] SwitchTab: Switched Autoencoders Are Effective Tabular Learners

Wu Jing, Suiyao Chen+10 more|arXiv (Cornell University)|Jan 4, 2024

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

SwitchTab 提出了一种新颖的自监督框架，用于表格数据，通过使用带有切换机制的非对称编码器-解码器架构，解耦显著特征与互惠特征。通过在解码过程中交换不同数据对之间的显著特征和互惠特征嵌入，该方法学习到更具结构性、代表性且可解释性的表征，在下游任务中达到最先进性能，并在将显著特征作为即插即用输入时提升传统模型（如 XGBoost）的性能。

ABSTRACT

Self-supervised representation learning methods have achieved significant success in computer vision and natural language processing, where data samples exhibit explicit spatial or semantic dependencies. However, applying these methods to tabular data is challenging due to the less pronounced dependencies among data samples. In this paper, we address this limitation by introducing SwitchTab, a novel self-supervised method specifically designed to capture latent dependencies in tabular data. SwitchTab leverages an asymmetric encoder-decoder framework to decouple mutual and salient features among data pairs, resulting in more representative embeddings. These embeddings, in turn, contribute to better decision boundaries and lead to improved results in downstream tasks. To validate the effectiveness of SwitchTab, we conduct extensive experiments across various domains involving tabular data. The results showcase superior performance in end-to-end prediction tasks with fine-tuning. Moreover, we demonstrate that pre-trained salient embeddings can be utilized as plug-and-play features to enhance the performance of various traditional classification methods (e.g., Logistic Regression, XGBoost, etc.). Lastly, we highlight the capability of SwitchTab to create explainable representations through visualization of decoupled mutual and salient features in the latent space.

研究动机与目标

• 为解决表格数据中显式依赖关系有限的问题，该问题阻碍了视觉与自然语言处理自监督学习的成功迁移。
• 显式解耦表格数据中的显著（区分性）与互惠（共享性）特征，以提升表征质量。
• 开发一种在多种表格数据集上均有效的自监督与微调设置下的通用预训练框架。
• 实现所学显著特征的即插即用集成，以增强传统模型（如逻辑回归与 XGBoost）的性能。
• 通过在潜在空间中可视化解耦的互惠与显著特征，提供可解释的表征。

提出的方法

• SwitchTab 采用非对称编码器-解码器结构，将每个数据样本编码为通用嵌入，再将其投影为显著嵌入与互惠嵌入。
• 其关键创新在于在解码阶段，将两个不同数据样本的显著与互惠嵌入进行交换，形成交换对 (s₁, m₂) 与 (s₂, m₁)。
• 此交换过程通过强制模型重建非来自同一原始样本的特征，促使模型学习到解耦的表征，从而增强特征解耦性。
• 使用定制投影器将编码后的嵌入投影到不同的显著与互惠特征空间，实现信息类型的显式分离。
• 该框架通过在交换对上的重构损失进行训练，无需标注数据即可促进鲁棒且泛化性强的特征学习。
• 预训练的编码器可端到端微调，或用于提取显著特征作为即插即用特征输入传统模型。

实验结果

研究问题

• RQ1 自监督自编码器框架能否在缺乏空间或序列依赖关系的表格数据中有效解耦显著与互惠特征？
• RQ2 显著与互惠嵌入之间的切换机制是否相比标准自编码器能提升表征质量与下游性能？
• RQ3 预训练的显著嵌入能否作为有效且通用的特征，用于增强 XGBoost 与逻辑回归等传统表格模型？
• RQ4 所学表征在多大程度上可被可视化与解释，以揭示互惠与显著信息之间的区别？
• RQ5 性能对超参数（如特征损坏比例）的敏感性如何？在不同表格数据集中，最优设置是什么？

主要发现

• SwitchTab 在多个表格基准数据集上实现端到端微调的最先进性能，AUC 相对于基线模型提升 0.5% 至 3.5%（绝对值）。
• 当用作即插即用特征时，SwitchTab 提取的显著嵌入可显著提升传统模型（如 XGBoost 与逻辑回归）的性能，AUC 最高提升达 3.5%（绝对值）。
• t-SNE 可视化结果表明，互惠特征 (m₁, m₂) 在不同类别间显著重叠，而显著特征 (s₁, s₂) 明显分离，证实了有效解耦。
• 消融研究显示，切换机制至关重要——若移除该机制，AUC 显著下降，证实其在学习解耦表征中的关键作用。
• 最优特征损坏比例约为 0.3，但高维数据集（如 AR、VO）因特征冗余性，可从略高的比例中获益。
• 该方法在多种数据类型（包括二分类与多分类表格数据集）上泛化良好，且在表征质量与下游任务准确率方面均保持一致提升。