[论文解读] Up to two billion times acceleration of scientific simulations with deep neural architecture search

Muhammad Kasim, Duncan Watson‐Parris+11 more|arXiv (Cornell University)|Jan 1, 2020

Scientific Computing and Data Management被引用 29

一句话总结

本文提出一种深度神经架构搜索（NAS）方法，仅使用极少的训练数据即可创建高精度、快速的科学模拟仿真器。通过利用共享超网络架构与一致的超参数进行自动化神经架构搜索，该方法在包括天体物理学和聚变能源在内的10个不同科学领域中，将模拟速度最高提升了20亿倍，同时还能提供不确定性估计，以增强仿真器的可靠性。

ABSTRACT

Computer simulations are invaluable tools for scientific discovery. However, accurate simulations are often slow to execute, which limits their applicability to extensive parameter exploration, large-scale data analysis, and uncertainty quantification. A promising route to accelerate simulations by building fast emulators with machine learning requires large training datasets, which can be prohibitively expensive to obtain with slow simulations. Here we present a method based on neural architecture search to build accurate emulators even with a limited number of training data. The method successfully accelerates simulations by up to 2 billion times in 10 scientific cases including astrophysics, climate science, biogeochemistry, high energy density physics, fusion energy, and seismology, using the same super-architecture, algorithm, and hyperparameters. Our approach also inherently provides emulator uncertainty estimation, adding further confidence in their use. We anticipate this work will accelerate research involving expensive simulations, allow more extensive parameters exploration, and enable new, previously unfeasible computational discovery.

研究动机与目标

• 解决科学模拟速度过慢的问题，以限制参数探索和不确定性量化。
• 克服训练机器学习仿真器时的数据效率障碍，因为来自慢速模拟的大规模数据集往往成本过高。
• 开发一种可泛化的、数据高效的通用方法，用于在无需重新训练或超参数调优的情况下，为多样化科学领域创建高精度仿真器。
• 将内在不确定性估计整合到仿真器中，以提升科学决策中的可信度和可靠性。
• 通过大幅降低模拟运行时间并保持高精度，实现此前无法实现的计算发现。

提出的方法

• 采用神经架构搜索（NAS）自动发现适用于科学模拟仿真的最优深度神经网络架构。
• 在所有科学领域中使用单一共享的超网络架构，以确保一致性并降低架构搜索的复杂度。
• 采用可微分搜索策略，以极低的计算成本高效探索架构空间。
• 使用有限数量的高保真模拟数据点训练所选架构，以最大化数据效率。
• 集成贝叶斯神经网络组件，以在预测的同时提供不确定性估计，从而增强可靠性。
• 在所有10个科学案例中应用相同的算法和超参数，证明了方法的泛化能力与鲁棒性。

实验结果

研究问题

• RQ1 神经架构搜索能否显著提升机器学习仿真器在科学模拟中的数据效率？
• RQ2 单一共享的超网络架构与一致的超参数在多样化科学领域中的泛化程度如何？
• RQ3 所提出的方法能否在保持高精度和不确定性量化的同时，实现极端加速（如数十亿倍）？
• RQ4 内在不确定性估计的引入如何影响仿真器在高风险科学应用中的可靠性？
• RQ5 该方法能否使此前计算上不可行的模拟问题实现大规模参数空间探索与不确定性量化？

主要发现

• 该方法在包括天体物理学、气候科学和聚变能源在内的10个不同科学领域中，将模拟速度最高提升了20亿倍。
• 相同的超网络架构、算法和超参数在所有10个科学案例中均成功应用而无需重新配置，证明了强大的泛化能力。
• 即使在仅使用有限模拟数据进行训练的情况下，仿真器仍保持了高精度，证明了其在真实科学场景中的数据效率。
• 该方法天然提供预测的不确定性估计，从而增强了科学决策中对仿真器输出结果的信心。
• 该方法使此前计算上不可行的模拟问题得以实现广泛的参数空间探索与不确定性量化。
• 结果表明，基于NAS的仿真器可大幅降低计算成本，同时在多样化领域中保持科学保真度。