[论文解读] Tabular Few-Shot Generalization Across Heterogeneous Feature Spaces

Max Zhu, Katarzyna Kobalczyk+5 more|arXiv (Cornell University)|Nov 16, 2023

Domain Adaptation and Few-Shot Learning被引用 4

一句话总结

FLAT 提出了一种新颖的少样本学习框架，用于表格数据，通过使用元学习方法结合数据集嵌入和列嵌入，在异质特征空间的数据集之间实现泛化。它利用图注意力网络（GAT）解码器实现排列不变性与动态特征关系建模，在118个UCI数据集上实现了最先进性能，尤其在低样本和类别不平衡设置下表现优异。

ABSTRACT

Despite the prevalence of tabular datasets, few-shot learning remains under-explored within this domain. Existing few-shot methods are not directly applicable to tabular datasets due to varying column relationships, meanings, and permutational invariance. To address these challenges, we propose FLAT-a novel approach to tabular few-shot learning, encompassing knowledge sharing between datasets with heterogeneous feature spaces. Utilizing an encoder inspired by Dataset2Vec, FLAT learns low-dimensional embeddings of datasets and their individual columns, which facilitate knowledge transfer and generalization to previously unseen datasets. A decoder network parametrizes the predictive target network, implemented as a Graph Attention Network, to accommodate the heterogeneous nature of tabular datasets. Experiments on a diverse collection of 118 UCI datasets demonstrate FLAT's successful generalization to new tabular datasets and a considerable improvement over the baselines.

研究动机与目标

• 为解决表格数据缺乏有效少样本学习方法的问题，这些数据通常标注样本有限且特征空间各异。
• 克服表格少样本学习中的挑战，包括排列不变性、缺乏共享特征语义以及异质列关系。
• 通过学习数据集及其列的共享低维嵌入，实现在具有不同特征集合的数据集之间的知识迁移。
• 设计一种元学习框架，即使特征空间显著不同，也能在仅含少量标注样本的情况下泛化到未见数据集。
• 提升在类别不平衡数据集上的性能，这是医疗和金融领域中常见的现实挑战。

提出的方法

• FLAT 采用元学习框架，其中元网络基于少量支持集为目标网络生成权重。
• 数据集编码器受 Dataset2Vec 启发，学习整个数据集和单个列的低维嵌入，实现跨异质特征空间的知识共享。
• 目标网络为图注意力网络（GAT），可动态建模列间关系，确保排列不变性并适应不同列集合。
• 解码器网络利用嵌入的元数据生成 GAT 的特定任务权重，实现对新任务的动态适应。
• 模型在118个UCI数据集的多样化组合上端到端训练，元网络学习在具有不同特征构成的任务间泛化。
• FLATadapt 是改进的变体，通过使用扰动网格合成任务微调元网络，提升了决策边界对齐效果，在低样本任务中表现更优。

Figure 1: Overview of the FLAT architecture, highlighting its three key components: (1—dataset encoder $\mathcal{F}$ with the column encoder $\mathcal{G}$ , (2)—weight generating decoder network $\mathcal{H}$ and (3)—the target GAT network $\Phi$ . (1) and (2) together form the meta network.

实验结果

研究问题

• RQ1 一个少样本学习模型能否在具有完全不同的特征空间的表格数据集之间实现有效泛化？
• RQ2 当元数据集高度不平衡时（这是现实世界中的常见情况），模型表现如何？
• RQ3 元任务与目标任务之间的结构相似性在多大程度上提升模型性能？
• RQ4 模型能否仅凭每类一个标注样本就做出准确预测？
• RQ5 与标准少样本基线相比，图注意力机制和共享嵌入在多大程度上提升了泛化能力？

主要发现

• 在每类3、5和10个标注样本的少样本设置下，FLAT 在118个UCI数据集上显著优于现有基线方法。
• 通过 FLATadapt 微调策略，FLAT 相较基线最高提升1.25个百分点，尤其在低样本场景下优势明显。
• FLAT 在类别不平衡的元数据集上表现出强鲁棒性，即使正负样本高度偏斜，仍优于基线方法。
• 模型仅凭每类一个标注样本即可成功学习有意义的决策边界，表明其具备有效的先验知识获取能力。
• 在 N^{meta}=3、5、10 时，FLAT 在所有基线中平均准确率最高，并在 N^{meta}=15 时仍保持竞争力。
• 当元任务与下游任务具有结构相似性时，性能提升最为显著，证实了任务相似性在少样本泛化中的重要性。

Figure 2: Median model ranks based on accuracy over 29 medical datasets (Left) and all 118 UCI datasets (Right)