[论文解读] SPRINT: Semi-supervised Prototypical Representation for Few-Shot Class-Incremental Tabular Learning
SPRINT 是一个用于表格 FSCIL 的半监督原型网络,采用基于置信度的伪标签和混合 episodic 训练,在从少量标注数据与未标注数据中学习新类的同时保留基础知识,在多样化的表格领域实现了最先进的性能。
Real-world systems must continuously adapt to novel concepts from limited data without forgetting previously acquired knowledge. While Few-Shot Class-Incremental Learning (FSCIL) is established in computer vision, its application to tabular domains remains largely unexplored. Unlike images, tabular streams (e.g., logs, sensors) offer abundant unlabeled data, a scarcity of expert annotations and negligible storage costs, features ignored by existing vision-based methods that rely on restrictive buffers. We introduce SPRINT, the first FSCIL framework tailored for tabular distributions. SPRINT introduces a mixed episodic training strategy that leverages confidence-based pseudo-labeling to enrich novel class representations and exploits low storage costs to retain base class history. Extensive evaluation across six diverse benchmarks spanning cybersecurity, healthcare, and ecological domains, demonstrates SPRINT's cross-domain robustness. It achieves a state-of-the-art average accuracy of 77.37% (5-shot), outperforming the strongest incremental baseline by 4.45%.
研究动机与目标
- 形式化表格数据的 FSCIL,兼顾基础记忆保持与未标注数据池。
- 开发一个半监督原型扩展,以从未标注数据丰富新类表示。
- 提出混合 episodic 训练策略,在不进行蒸馏的情况下联合优化基础排练与新类适应。
- 在多领域表格基准上展示跨域鲁棒性与最先进的准确率。
提出的方法
- 在基础会话使用带原型网络的 episodic 训练以学习类别原型。
- 增量会话中保持并更新编码器以防止遗忘。
- 引入基于置信度的未标注数据伪标签,以增广新类原型。
- 通过将标注的新类样本与高置信度伪标注样本与基础类样本混合,形成半监督的 episode。
- 以基类原型损失与半监督损失的加权组合进行训练,隐式抑制遗忘。
实验结果
研究问题
- RQ1未标注表格数据的半监督伪标签是否能提升少-shot 类增量学习,同时减缓基础类的遗忘?
- RQ2联合优化基础排练与半监督新类适应的混合 episodic 训练是否在表格数据上优于现有 FSCIL 方法?
- RQ3在具有不同特征维数和数据模式的多样表格域中,SPRINT 的表现如何?
- RQ4记忆预算、样本数与伪标签质量对最终性能与稳定性有何影响?
- RQ5相较于其他距离度量,欧氏原型法是否适用于表格 FSCIL?
主要发现
- SPRINT 在多样化表格基准的5-shot设置中实现最先进的平均准确率(77.37%)。
- SPRINT 在 ACI-IoT-2023 数据集上实现2.54%的最终遗忘,遗忘度低于强基线如 iCaRL。
- 在六个数据集上,SPRINT 展现出鲁棒性强的表现,包括最终会话准确度分布的稳定性。
- 消融研究显示,将基础排练与半监督聚类相结合获得最大增益,单独使用原型损失的提升幅度明显更小。
- 该方法在高维(以 CNN 主干的 MNIST)和低维表格数据上均具可扩展性,在视觉 FSCIL 方法难以保持的场景中仍保持强势表现。
更好的研究,从现在开始
从论文设计到论文写作,大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成,并经人工编辑审核。