[论文解读] Visualizing the Hidden Features of Galaxy Morphology with Machine Learning

Jia-Ming Dai, Jizhou Tong|arXiv (Cornell University)|Jul 16, 2018

Image Processing and 3D Reconstruction参考文献 4被引用 5

一句话总结

本文将 t-SNE 可视化应用于在 Galaxy Zoo 2 数据集上训练的三个卷积神经网络（CNN）所提取的高维特征表示，以揭示星系形态中的隐藏结构模式。主要发现是，CNN 学习到的特征表明，雪茄形星系和面盘星系在特征空间中视觉上相似且相互交织，而误标星系（例如，被错误分类为完全圆形光滑星系的螺旋星系）则通过聚类异常被识别出来。

ABSTRACT

We train three convolutional neural networks (CNNs) to classify galaxies with Galaxy Zoo 2 dataset and extract the activations from the last fully connected layer or the last average pooling layer of CNNs to study the high-dimensional abstract feature representations of galaxy images. We apply t-Distributed Stochastic Neighbour Embedding (t-SNE), a popular dimensionality reduction technique, to visualize the high-dimensional galaxy feature representations in two-dimensional scatter plots. From the visualization, we try to understand the galaxy images data itself and obtain some highly valuable insights. For instance, the learned galaxy feature representations from networks indicate that the galaxies belonging to the same class tend to group together, i.e. same morphological galaxies are clustered; The cluster of completely round smooth galaxy and the cluster of in-between smooth galaxy (between completely round and cigar-shaped) are moved closer, compared to other clusters; The cluster of cigar-shaped smooth galaxy and the cluster of edge-on galaxy are intertwined surprisingly; A galaxy mislabelled as spiral galaxy in the original dataset falls in the cluster of completely round smooth galaxy, and manual inspection also identifies out the outlier as a completely round smooth galaxy. These findings will facilitate the study of galaxy morphology.

研究动机与目标

• 通过分析深度神经网络学习到的高维特征表示，研究星系形态中的隐藏结构模式。
• 评估 CNN 学习特征的 t-SNE 可视化是否能揭示星系图像数据中的有意义全局与局部结构。
• 通过观察星系图像在学习到的特征空间中的聚类行为，检测潜在的数据标注错误。
• 探索不同形态类别（尤其是光滑星系）在训练模型潜在空间中的关系。
• 为改进星系分类系统和形态分析流程提供见解。

提出的方法

• 在 Galaxy Zoo 2 数据集上训练了三种不同的 CNN 架构，用于将星系分类为五种类别的形态：完全圆形、中间型、雪茄形、面盘形和螺旋形。
• 从每个训练好的 CNN 的最后一层全连接层或最后一层平均池化层中提取激活值，以形成星系图像的高维特征表示。
• 应用 t-分布随机邻域嵌入（t-SNE）将这些特征的维度降低到二维，以实现可视化。
• 分析生成的二维散点图，以识别星系类别之间的聚类模式、结构关系及异常情况。
• 对误分类或异常星系进行人工检查，以验证 t-SNE 可视化结果的发现。
• 在训练集和测试集上均进行分析，以比较不同数据划分下学习到的表示的一致性。

实验结果

研究问题

• RQ1 同一形态类别的星系是否在 CNN 学习到的高维特征空间中聚集成簇？
• RQ2 在学习到的特征空间中，不同形态类别（尤其是光滑星系）之间如何相互关联？
• RQ3 CNN 学习特征的 t-SNE 可视化能否揭示形态上截然不同的星系类型之间的意外结构相似性？
• RQ4 可视化能否检测出被网络错误分类的误标或异常星系？
• RQ5 训练集与测试集之间的特征表示质量有何差异，这对模型泛化能力有何启示？

主要发现

• 同一形态类别的星系在 t-SNE 可视化中倾向于聚集成簇，表明 CNN 学习到了具有区分性和一致性的特征表示。
• 完全圆形光滑星系与中间型光滑星系（介于圆形与雪茄形之间）的簇彼此靠近，表明其在视觉和结构上具有相似性。
• 雪茄形光滑星系与面盘星系的簇在特征空间中显著交织重叠，表明其形态特征具有高度视觉相似性。
• 原始数据集中被误标为螺旋星系的一颗星系被发现在完全圆形光滑星系的簇内，人工检查确认其确实为圆形光滑星系，验证了标注错误的检测结果。
• 可视化显示，细长螺旋星系在视觉上与面盘星系和雪茄形星系相似，因其与两者均聚集成簇，表明其具有共享的结构特征。
• 如暗淡或小尺寸的中心星系（例如，GalaxyID 109266 和 914775）等异常值被持续误分类且视觉上模糊，凸显了形态分类的挑战。