[论文解读] Sample-Efficient Optimization in the Latent Space of Deep Generative Models via Weighted Retraining

Austin Tripp, Erik Daxberger+1 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 78被引用 37

一句话总结

这篇论文在潜在空间优化中引入加权再训练，以提升对高维结构化输入的黑盒优化的样本效率。

ABSTRACT

Many important problems in science and engineering, such as drug design, involve optimizing an expensive black-box objective function over a complex, high-dimensional, and structured input space. Although machine learning techniques have shown promise in solving such problems, existing approaches substantially lack sample efficiency. We introduce an improved method for efficient black-box optimization, which performs the optimization in the low-dimensional, continuous latent manifold learned by a deep generative model. In contrast to previous approaches, we actively steer the generative model to maintain a latent manifold that is highly useful for efficiently optimizing the objective. We achieve this by periodically retraining the generative model on the data points queried along the optimization trajectory, as well as weighting those data points according to their objective function value. This weighted retraining can be easily implemented on top of existing methods, and is empirically shown to significantly improve their efficiency and performance on synthetic and real-world optimization problems.

研究动机与目标

• 为高维、结构化输入空间中需要昂贵目标函数的场景动机潜在空间优化（LSO）。
• 识别标准LSO与学习的潜在可行域以及信息传播相关的两种失效模式。
• 提出加权数据训练和定期再训练以使潜在空间适应优化信息。
• 证明将加权与再训练结合在合成任务和真实世界任务上能提升效率。

提出的方法

• 训练一个深度生成模型 g: Z -> X，采用带权训练目标以将潜在空间偏向高性能点。
• 在数据点上分配正权重 w_i，以在训练中强调高分样本（基于排名的权重 via w(x; D, k)）。
• 定期在加权数据集上重新训练或微调生成模型，以使潜在流形适应新信息。
• 使用一个逆模型 q 将 X 映射到潜在点 Z，以拟合潜在目标 h: Z -> R 并指导优化。
• 将带权重的再训练与潜在空间优化器结合，以选择新的潜在点并查询 f(g(z))。
• 提供一个简单的算法（Algorithm 1），概述迭代的带权重再训练和潜在空间优化。

实验结果

研究问题

• RQ1 权重化训练数据如何影响深度生成模型在 LSO 中的潜在空间分布？
• RQ2 定期重新训练生成模型是否有助于引入新的高分数据并扩展可行区域用于优化？
• RQ3 将加权与再训练结合是否相较于标准 LSO 和基线在多样任务上提升样本效率？
• RQ4 在化学设计等真实世界问题上，将加权再培训与基于交叉熵的方法和领域专用的 BO 方法相比，表现如何？

主要发现

• 加权训练使潜在空间分布向更高目标值偏移，在各个任务上均有体现。
• 联合加权与定期再训练比任一单独技术表现更好，呈现协同效应。
• 带权重的再训练（使用 k_low 和 r_low）通常提升优化性能并实现对初始训练数据之外的外推。
• 与 DbAS、CEM-PI、FBVAE、RWR 相比，带权重的再训练结合 LSO 在化学设计任务上实现更高的样本效率和更好的最终分数。
• 在广泛使用的化学设计基准 ZINC250k 上，该方法在 500 个样本时获得最佳分数 27.84，超越了若干基线方法。
• 该方法在一个广泛使用的化学设计基准上对现有方法带来显著改进。