[论文解读] Parallel and Distributed Thompson Sampling for Large-scale Accelerated Exploration of Chemical Space

José Miguel Hernández-Lobato, James Requeima+2 more|arXiv (Cornell University)|Jun 6, 2017

Machine Learning and Algorithms参考文献 30被引用 76

一句话总结

本文提出并行分布式汤普森采样（PDTS）用于大化学空间的可扩展并行贝叶斯优化，结果表明在小批量时与并行EI相匹配，在大批量和真实筛选任务中优于可扩展基线。

ABSTRACT

Chemical space is so large that brute force searches for new interesting molecules are infeasible. High-throughput virtual screening via computer cluster simulations can speed up the discovery process by collecting very large amounts of data in parallel, e.g., up to hundreds or thousands of parallel measurements. Bayesian optimization (BO) can produce additional acceleration by sequentially identifying the most useful simulations or experiments to be performed next. However, current BO methods cannot scale to the large numbers of parallel measurements and the massive libraries of molecules currently used in high-throughput screening. Here, we propose a scalable solution based on a parallel and distributed implementation of Thompson sampling (PDTS). We show that, in small scale problems, PDTS performs similarly as parallel expected improvement (EI), a batch version of the most widely used BO heuristic. Additionally, in settings where parallel EI does not scale, PDTS outperforms other scalable baselines such as a greedy search, $ε$-greedy approaches and a random search method. These results show that PDTS is a successful solution for large-scale parallel BO.

研究动机与目标

• 激发并解决超越暴力搜索的巨大化学空间探索挑战。
• 开发一种可扩展的并行贝叶斯优化方法，能够处理非常大的批量规模。
• 在合成基准测试和真实分子筛选数据集上将PDTS与并行EI及其他基线进行比较。
• 证明其对高斯过程模型和贝叶斯神经网络的适用性。
• 展示PDTS在材料与药物发现高通量筛选中的有效性。

提出的方法

• 引入用于批量贝叶斯优化的并行分布式汤普森采样（PDTS）。
• 通过对模型参数绘制后验采样并在该样本下选择最佳点来使用汤普森采样，从而实现并行批量选择。
• 使用来自待定结果的一个单一蒙特卡罗样本来近似并行获取，避免额外的后验更新。
• 在分布式节点中实现PDTS，每个节点独立采样后验并优化其自身的获取函数。
• 支持高斯过程和贝叶斯神经网络（通过带有概率反向传播的贝叶斯神经网络训练）两者。
• 通过集中协调解决化学领域中离散的大候选集，避免批量选择中的重复。

实验结果

研究问题

• RQ1 在小批量规模下，PDTS是否能够达到与并行EI相似的性能？
• RQ2 PDTS在化学空间探索的并行贝叶斯优化中是否能扩展到非常大的批量规模？
• RQ3 在高通量筛选任务中，PDTS与贪婪、ε-贪婪和随机基线相比如何？
• RQ4 在代理模型为高斯过程或贝叶斯神经网络时，PDTS是否有效？
• RQ5 在材料与药物发现中的大分子数据集上应用PDTS的实际意义是什么？

主要发现

• PDTS在小批量规模下的表现与并行EI相似。
• 在大规模并行BO设置中，PDTS优于贪婪、ε-贪婪和随机基线。
• PDTS具有很高的可扩展性，通过在各节点并行化序列化的TS运行，适用于非常大的批量规模。
• PDTS可应用于高斯过程和贝叶斯神经网络，拓展了其在高通量筛选中的适用性。
• 在分子数据集上的实验表明PDTS在材料与药物筛选中的加速发现的可行性。