[论文解读] Predicting galaxy spectra from images with hybrid convolutional neural networks

John F. Wu, J. E. G. Peek|arXiv (Cornell University)|Sep 25, 2020

Spectroscopy and Chemometric Analyses参考文献 11被引用 8

一句话总结

本文提出一种混合卷积神经网络，直接从Pan-STARRS的宽波段图像预测星系光谱，早期层使用去卷积，深层使用批量归一化。该模型在从图像重建SDSS光谱方面达到最先进性能，表明星系形态强烈编码了光谱特性，并为未来光谱巡天提供了高效的先验估计方法。

ABSTRACT

Galaxies can be described by features of their optical spectra such as oxygen emission lines, or morphological features such as spiral arms. Although spectroscopy provides a rich description of the physical processes that govern galaxy evolution, spectroscopic data are observationally expensive to obtain. For the first time, we are able to robustly predict galaxy spectra directly from broad-band imaging. We present a powerful new approach using a hybrid convolutional neural network with deconvolution instead of batch normalization; this hybrid CNN outperforms other models in our tests. The learned mapping between galaxy imaging and spectra will be transformative for future wide-field surveys, such as with the Vera C. Rubin Observatory and Nancy Grace Roman Space Telescope, by multiplying the scientific returns for spectroscopically-limited galaxy samples.

研究动机与目标

• 开发一种深度学习模型，从成像数据预测星系光谱，减少对昂贵光谱后续观测的依赖。
• 探究宽波段图像中的星系形态是否包含足够信息以重建详细的光学光谱。
• 比较去卷积归一化与批量归一化在CNN中用于天文物体图像到光谱映射的性能。
• 通过学习图像到光谱先验，实现对未来光谱巡天中科学兴趣星系的高效预选。
• 提供一个公开可用的框架，用于从图像预测光谱，支持开放且可及的天文学研究。

提出的方法

• 变分自编码器（VAE）将SDSS星系光谱压缩为六个连续的潜在变量，实现平滑插值与重建。
• 以五波段Pan-STARRS $grizy$ 图像裁剪（$224 \times 224$）作为输入，并通过二面体变换进行数据增强。
• 采用混合CNN架构，在主干网络的初始阶段使用去卷积层以实现特征去相关与稀疏表示，随后使用带批量归一化的标准卷积模块。
• 模型训练目标为预测VAE的六个潜在变量，随后解码为完整光谱。
• 在前几层用去卷积替代批量归一化，以改善优化并减少过拟合，尤其在浅层网络中效果显著。
• 通过在验证光谱上使用均方误差（MSE）损失评估模型性能，并通过消融实验比较不同架构。

实验结果

研究问题

• RQ1 仅依靠宽波段成像，能否准确预测星系光谱，而无需光谱数据？
• RQ2 在图像到光谱回归任务中，早期层使用去卷积的混合CNN是否优于标准批量归一化架构？
• RQ3 在$grizy$图像中，星系形态在多大程度上编码了恒星种群与星际介质性质的信息？
• RQ4 在天文学中常见的低数据场景下，使用去卷积如何改善优化与泛化能力？
• RQ5 所学习的图像到光谱映射能否作为未来光谱巡天目标选择的可靠先验？

主要发现

• xresnet18-hybrid模型结合主干网络的去卷积与深层的批量归一化，在50个训练周期后达到最低的验证MSE损失0.474。
• 混合模型优于标准批量归一化与仅使用去卷积的变体，后者在50个周期时出现严重过拟合（MSE = 0.577）。
• 早期使用去卷积可改善优化与特征去相关，而深层使用批量归一化则保持了稳健的性能与泛化能力。
• 模型在仅预测平均潜在向量时的基线MSE为1.0，经优化后降至0.474，表明图像本身已具备强大的预测能力。
• 所学映射支持潜在空间中的平滑插值，表明星系外观是光谱特征的强先验。
• 该方法为生成光谱先验、预选目标以及识别星系光谱中的形态异常提供了基础。