[论文解读] Scalable and Flexible Deep Bayesian Optimization with Auxiliary Information for Scientific Problems.

Samuel Kim, Peter Y. Lu+4 more|arXiv (Cornell University)|Apr 23, 2021

Machine Learning in Materials Science参考文献 7被引用 4

一句话总结

本文提出在具有结构化数据和辅助信息的科学问题中，使用贝叶斯神经网络（BNNs）作为可扩展、灵活的代理模型，应用于贝叶斯优化（BO）。通过利用BNNs建模复杂模式并整合已知对称性或中间数据的能力，该方法在物理和化学优化任务（包括光子晶体拓扑结构和分子性质优化）中，相比高斯过程（GPs）实现了更高的采样效率和更低的计算成本。

ABSTRACT

Bayesian optimization (BO) is a popular paradigm for global optimization of expensive black-box functions, but there are many domains where the function is not completely black-box. The data may have some known structure, e.g. symmetries, and the data generation process can yield useful intermediate or auxiliary information in addition to the value of the optimization objective. However, surrogate models traditionally employed in BO, such as Gaussian Processes (GPs), scale poorly with dataset size and struggle to incorporate known structure or auxiliary information. Instead, we propose performing BO on complex, structured problems by using Bayesian Neural Networks (BNNs), a class of scalable surrogate models that have the representation power and flexibility to handle structured data and exploit auxiliary information. We demonstrate BO on a number of realistic problems in physics and chemistry, including topology optimization of photonic crystal materials using convolutional neural networks, and chemical property optimization of molecules using graph neural networks. On these complex tasks, we show that BNNs often outperform GPs as surrogate models for BO in terms of both sampling efficiency and computational cost.

研究动机与目标

• 解决高斯过程（GPs）在大规模、结构化科学问题的贝叶斯优化（BO）中应用时的局限性。
• 实现在优化过程中有效利用已知结构特性（如对称性）和辅助信息。
• 开发一种可扩展且灵活的代理建模方法，在处理复杂数据（如图和图像）的同时保持不确定性量化。
• 提升真实科学应用中贝叶斯优化的采样效率并降低计算成本。
• 在物理和化学领域的挑战性问题（如光子晶体设计和分子性质优化）中展示该方法的有效性。

提出的方法

• 在贝叶斯优化中使用贝叶斯神经网络（BNNs）作为代理模型，替代传统的高斯过程（GPs）。
• 利用BNNs的表征能力，对复杂结构化数据（如卷积网格，例如光子晶体）和图结构化数据（如分子）进行建模。
• 在训练过程中，将辅助信息（如中间输出或结构对称性）直接整合到BNN架构中。
• 应用主动学习采集函数（如期望改进）并结合BNN提供的不确定性估计，以指导优化过程。
• 使用变分推断训练BNNs，以在保持可扩展性的同时维持不确定性量化。
• 使用结构化神经网络架构（如用于空间数据的CNNs，用于分子图的GNNs）来编码特定领域的归纳偏置。

实验结果

研究问题

• RQ1 贝叶斯神经网络能否在科学问题的贝叶斯优化中作为代理模型优于高斯过程？
• RQ2 BNNs在优化任务中能否有效整合已知的结构特性与辅助信息？
• RQ3 与GPs相比，BNNs是否能在真实科学优化中实现更高的采样效率和更低的计算成本？
• RQ4 BNNs在保持不确定性估计的同时，能在多大程度上扩展到大规模数据集？
• RQ5 基于BNN的BO能否在复杂科学问题（如光子晶体拓扑结构和分子性质优化）中实现更优性能？

主要发现

• 在复杂科学优化任务中，BNNs在采样效率方面优于GPs，显著减少了找到最优解所需的函数评估次数。
• 使用BNNs能够有效整合辅助信息和结构先验（如对称性）到优化过程中。
• 与GPs相比，BNNs在更大数据集上展现出更优的可扩展性，保持了真实科学应用中的计算可行性。
• 在使用卷积神经网络进行光子晶体拓扑优化时，基于BNN的BO实现了比基于GP的BO更快的收敛速度和更优性能。
• 在使用图神经网络进行分子性质优化时，BNNs表现出更高的样本效率和更低的计算成本，优于GPs。
• 通过变分推断，该方法保持了不确定性量化，从而在BO中实现可靠的探索-利用权衡。