[论文解读] Offline Model-Based Optimization via Normalized Maximum Likelihood Estimation

Justin Fu, Sergey Levine|arXiv (Cornell University)|Feb 16, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用 8

一句话总结

本文提出NEMO，一种新颖的离线模型基于优化方法，利用归一化最大似然（NML）估计器的可计算近似，为分布外输入生成具有不确定性感知的保守预测。通过利用NML对不确定性的合理处理，NEMO避免了模型利用问题，并在材料科学、生物学和机器人学等多样化的离线优化任务中实现了最先进性能。

ABSTRACT

In this work we consider data-driven optimization problems where one must maximize a function given only queries at a fixed set of points. This problem setting emerges in many domains where function evaluation is a complex and expensive process, such as in the design of materials, vehicles, or neural network architectures. Because the available data typically only covers a small manifold of the possible space of inputs, a principal challenge is to be able to construct algorithms that can reason about uncertainty and out-of-distribution values, since a naive optimizer can easily exploit an estimated model to return adversarial inputs. We propose to tackle this problem by leveraging the normalized maximum-likelihood (NML) estimator, which provides a principled approach to handling uncertainty and out-of-distribution inputs. While in the standard formulation NML is intractable, we propose a tractable approximation that allows us to scale our method to high-capacity neural network models. We demonstrate that our method can effectively optimize high-dimensional design problems in a variety of disciplines such as chemistry, biology, and materials engineering.

研究动机与目标

• 解决离线模型基于优化中的模型利用问题，其中标准代理模型在分布内数据上过拟合，并产生对抗性的分布外输入。
• 开发一种可扩展的、具有不确定性感知的前向模型，能够在不需额外函数查询的情况下可靠地泛化到分布外输入。
• 利用信息论原理，为高维、数据稀缺的优化问题提供一种具有理论基础的不确定性估计方法。
• 在材料设计、蛋白质工程和神经架构搜索等实际场景中实现鲁棒优化，这些场景中函数评估成本高昂且具有安全关键性。
• 通过引入一种可计算的、摊销化的近似方法，克服高维设置下归一化最大似然（NML）估计器的不可计算性。

提出的方法

• 提出一种条件NML（CNML）分布作为具有理论基础的前向模型，其天然地考虑了不确定性与分布偏移。
• 引入一种基于神经网络的可计算近似，以替代难以计算的NML估计器，从而实现对高维输入和复杂函数空间的可扩展性。
• 通过学习的、参数化的模型摊销NML估计的计算成本，从而在推理阶段高效地近似NML分布。
• 将所得的不确定性感知模型用作下游优化流程中的保守代理目标，实现在无需额外函数评估情况下的鲁棒设计搜索。
• 通过在一批粒子上优化NEMO预测的分布，将该方法应用于多种离线优化任务。
• 将NEMO模型与标准优化算法集成，以生成高置信度、具备分布外感知能力的设计。

实验结果

研究问题

• RQ1 对归一化最大似然（NML）估计器的可计算近似是否能有效缓解离线模型基于优化中的模型利用问题？
• RQ2 与集成方法或贝叶斯神经网络等标准方法相比，NEMO的不确定性估计在分布外输入上的泛化能力如何？
• RQ3 NEMO在真实世界的高维设计问题中，相较于最先进离线优化基线，性能提升程度如何？
• RQ4 NML的理论遗憾界在实践中是否成立，特别是在低数据场景下？
• RQ5 NML框架能否有效扩展到高容量神经网络模型，以在材料、生物和机器人学应用中实现实际使用？

主要发现

• 在Superconductor任务中，NEMO在第100百分位数得分达到127.0 ± 7.292，显著优于次佳方法（Ensemble: 88.01 ± 10.43）和数据集最大值（73.90）。
• 在GFP任务中，NEMO在第100百分位数得分达到3.359 ± 0.036，超过数据集最大值3.152及所有基线方法。
• 在HopperController任务中，NEMO在第100百分位数得分达到2130.1 ± 506.9，远超数据集最大值1361.6。
• 在第50百分位数评估中，NEMO在Superconductor任务上得分66.41 ± 4.618，优于GP-BO（72.42 ± 0.000）及其他所有基线方法。
• 定性分析表明，NEMO生成了合理的不确定性估计，而集成方法在低数据场景下产生过度自信且错误的预测。
• 消融研究证实，与直接在代理函数上优化相比，NML近似显著提升了性能，验证了不确定性感知建模的必要性。