[论文解读] Reducing Artificial Neural Network Complexity: A Case Study on Exoplanet Detection

Sebastiaan Koning, Caspar Greeven+1 more|arXiv (Cornell University)|Feb 27, 2019

Astronomical Observations and Instrumentation被引用 5

一句话总结

本文提出两种方法以降低一维时间序列数据卷积神经网络（CNN）的参数复杂度，特别应用于AstroNet进行系外行星探测。通过剪枝网络层并使用高斯金字塔对输入数据下采样，作者实现了高达85%的训练速度提升，且准确率损失可忽略不计，证明了在一维CNN中实现高效性提升的可行性，且不以性能为代价。

ABSTRACT

Despite their successes in the field of self-learning AI, Convolutional Neural Networks (CNNs) suffer from having too many trainable parameters, impacting computational performance. Several approaches have been proposed to reduce the number of parameters in the visual domain, the Inception architecture [Szegedy et al., 2016] being a prominent example. This raises the question whether the number of trainable parameters in CNNs can also be reduced for 1D inputs, such as time-series data, without incurring a substantial loss in classification performance. We propose and examine two methods for complexity reduction in AstroNet [Shallue & Vanderburg, 2018], a CNN for automatic classification of time-varying brightness data of stars to detect exoplanets. The first method makes only a tactical reduction of layers in AstroNet while the second method also modifies the original input data by means of a Gaussian pyramid. We conducted our experiments with various degrees of dropout regularization. Our results show only a non-substantial loss in accuracy compared to the original AstroNet, while reducing training time up to 85 percent. These results show potential for similar reductions in other CNN applications while largely retaining accuracy.

研究动机与目标

• 探究在一维CNN中是否可降低参数复杂度而不造成显著性能下降。
• 评估架构剪枝与输入级数据转换对训练效率与分类准确率的影响。
• 在AstroNet（一种用于恒星光 light curves 中系外行星探测的CNN模型）上应用并测试复杂度降低技术。
• 评估Dropout正则化在模型压缩过程中维持性能的效果。
• 证明类似复杂度降低策略可推广至其他一维CNN应用。

提出的方法

• 第一种方法减少原始AstroNet架构中的层数，简化网络深度。
• 第二种方法应用高斯金字塔对输入光曲线进行下采样，降低输入维度后再进行特征提取。
• 两种方法均在不同程度的Dropout正则化下进行评估，以保持泛化能力并防止过拟合。
• 模型在与原始AstroNet研究相同的系外行星探测数据集上进行训练与验证。
• 通过分类准确率与训练时间衡量性能，将压缩后的模型与原始AstroNet进行比较。
• 对超参数进行调优，以在模型复杂度、准确率与训练速度之间取得平衡。

实验结果

研究问题

• RQ1 在一维CNN中减少层数是否能显著缩短训练时间，同时对分类准确率影响极小？
• RQ2 通过高斯金字塔对输入数据进行预处理，是否能降低模型复杂度，同时保持检测性能？
• RQ3 在架构简化过程中，Dropout正则化在多大程度上能维持模型鲁棒性？
• RQ4 2D CNN中的复杂度降低技术（如Inception）是否可有效适配至一维时间序列数据（如恒星光曲线）？
• RQ5 在使用一维CNN进行系外行星探测时，模型复杂度、训练速度与准确率之间的权衡关系如何？

主要发现

• 层剪枝方法将训练时间最多减少85%，同时保持分类准确率与原始AstroNet相比在可忽略的范围内。
• 高斯金字塔输入变换也显著缩短了训练时间，且准确率与基线模型相当。
• 两种方法的分类准确率均与原始AstroNet处于可忽略的差异范围内，表明性能下降极小。
• 架构剪枝与输入级下采样相结合，有效降低了模型复杂度，且未损害检测能力。
• Dropout正则化在不同压缩水平下均有助于稳定性能，支持压缩模型的泛化能力。
• 结果表明，2D CNN中的复杂度降低技术可成功迁移至一维CNN，在时间序列应用中实现有效优化。