[论文解读] TransientViT: A novel CNN - Vision Transformer hybrid real/bogus transient classifier for the Kilodegree Automatic Transient Survey

Zhuoyang Chen, Wenjie Zhou+4 more|arXiv (Cornell University)|Sep 18, 2023

CCD and CMOS Imaging SensorsEngineering被引用 3

一句话总结

TransientViT 是一种新型的 CNN-视觉 Transformer 混合模型，通过结合卷积层的局部特征提取与分层自注意力机制的全局上下文建模，显著提升了在 Kilodegree Automatic Transient Survey (KATS) 中真实/虚假暂现源的分类性能。该模型在 KATS-T 200K 数据集上实现了 99.44% 的准确率和 0.97 的 AUC，大幅减少了暂现源处理流水线中对人工检查的依赖。

ABSTRACT

The detection and analysis of transient astronomical sources is of great importance to understand their time evolution. Traditional pipelines identify transient sources from difference (D) images derived by subtracting prior-observed reference images (R) from new science images (N), a process that involves extensive manual inspection. In this study, we present TransientViT, a hybrid convolutional neural network (CNN) - vision transformer (ViT) model to differentiate between transients and image artifacts for the Kilodegree Automatic Transient Survey (KATS). TransientViT utilizes CNNs to reduce the image resolution and a hierarchical attention mechanism to model features globally. We propose a novel KATS-T 200K dataset that combines the difference images with both long- and short-term images, providing a temporally continuous, multidimensional dataset. Using this dataset as the input, TransientViT achieved a superior performance in comparison to other transformer- and CNN-based models, with an overall area under the curve (AUC) of 0.97 and an accuracy of 99.44%. Ablation studies demonstrated the impact of different input channels, multi-input fusion methods, and cross-inference strategies on the model performance. As a final step, a voting-based ensemble to combine the inference results of three NRD images further improved the model's prediction reliability and robustness. This hybrid model will act as a crucial reference for future studies on real/bogus transient classification.

研究动机与目标

• 解决纯 CNN 基暂现分类器在时域天文学中计算成本高且全局特征捕捉能力有限的问题。
• 提升 KATS 流水线中真实/虚假暂现源分类的准确率与鲁棒性，减少对人工检查的依赖。
• 构建一个时序连续、多维的数据集（KATS-T 200K），整合长短期差分图像，以增强模型训练效果。
• 评估结合 CNN 与视觉 Transformer 的混合架构在噪声天文成像中暂现源检测中的有效性。
• 通过多输入融合与交叉推理策略优化推理过程，提升模型的可靠性与泛化能力。

提出的方法

• 模型使用卷积层对输入差分图像进行下采样，并提取局部空间特征。
• 视觉 Transformer 组件中的分层自注意力机制可捕捉特征图上的长程依赖关系与全局上下文信息。
• 自适应交叉注意力机制融合来自多个 NRD（近参考差分）图像的特征，增强时空表征学习能力。
• 评估了多种多输入融合策略——特征拼接、逐元素相加与自适应交叉注意力，以优化特征整合效果。
• 采用基于投票的集成推理策略，结合三个不同 NRD 图像段的预测结果，以提升模型的鲁棒性与可靠性。
• 模型在 KATS-T 200K 数据集上进行训练与评估，该数据集为一种新型的、时序连续的、多维的数据集，整合了具有长短期时间序列的差分图像。

实验结果

研究问题

• RQ1 混合 CNN-ViT 架构是否能在天文差分图像中对真实与虚假暂现源的分类任务上超越独立的 CNN 与 ViT 模型？
• RQ2 不同的多输入融合技术（拼接、相加、自适应交叉注意力）对暂现源分类模型性能有何影响？
• RQ3 采用唯一采样策略的交叉推理在多大程度上能提升模型的泛化能力与预测可靠性？
• RQ4 输入通道配置（例如仅差分图像 vs. 多段输入）对模型准确率与 AUC 有何影响？
• RQ5 使用多个 NRD 段进行集成推理是否能显著降低误报率，同时保持检测灵敏度？

主要发现

• TransientViT 在 KATS-T 200K 数据集上实现了 99.44% 的测试准确率与 0.97 的 AUC，优于其他基于 ViT 与 CNN 的模型。
• 自适应交叉注意力融合方法在多种多输入融合策略中表现最佳，达到 98.66% 的准确率与 97.87% 的 AUC。
• 采用唯一采样策略的交叉推理使模型性能提升至 98.97% 的准确率与 98.12% 的 AUC，优于标准推理与随机采样策略。
• 基于投票的集成推理策略进一步增强了模型鲁棒性，使 KATS 流水线中每晚的暂现源候选数量减少了约 90%。
• 消融实验证实，输入通道配置与融合方法对模型性能有显著影响，其中特征拼接与自适应交叉注意力表现出显著性能增益。
• 尽管存在图像缺陷（如望远镜支架故障导致的条纹），模型仍保持高性能，表明其对常见观测伪影具有较强鲁棒性。