[论文解读] Practical Massively Parallel Monte-Carlo Tree Search Applied to Molecular Design

Xiufeng Yang, Tanuj Kr Aasawat+1 more|arXiv (Cornell University)|Jun 18, 2020

Artificial Intelligence in Games参考文献 37被引用 9

一句话总结

本文提出了一种新型的分布式、大规模并行蒙特卡洛树搜索（MP-MCTS）算法，可在分布式内存系统上高效扩展至1,000个工作者，应用于分子设计。通过使用虚拟损失和树分区技术在大规模下保持搜索质量，MP-MCTS在10分钟内完成的任务，传统非并行MCTS需42小时才能完成，其性能优于结合了复杂深度学习模型与贝叶斯优化或强化学习的最先进方法。

ABSTRACT

It is common practice to use large computational resources to train neural networks, as is known from many examples, such as reinforcement learning applications. However, while massively parallel computing is often used for training models, it is rarely used for searching solutions for combinatorial optimization problems. In this paper, we propose a novel massively parallel Monte-Carlo Tree Search (MP-MCTS) algorithm that works efficiently for 1,000 worker scale, and apply it to molecular design. This is the first work that applies distributed MCTS to a real-world and non-game problem. Existing work on large-scale parallel MCTS show efficient scalability in terms of the number of rollouts up to 100 workers, but suffer from the degradation in the quality of the solutions. MP-MCTS maintains the search quality at larger scale, and by running MP-MCTS on 256 CPU cores for only 10 minutes, we obtained candidate molecules having similar score to non-parallel MCTS running for 42 hours. Moreover, our results based on parallel MCTS (combined with a simple RNN model) significantly outperforms existing state-of-the-art work. Our method is generic and is expected to speed up other applications of MCTS.

研究动机与目标

• 为解决现实世界组合优化问题中缺乏大规模、分布式并行MCTS的问题，特别是在分子设计领域。
• 克服先前并行MCTS方法在100个以上工作者时性能下降的可扩展性限制。
• 证明大规模并行MCTS在分子设计中可达到或超越结合贝叶斯优化或强化学习的复杂深度学习模型的性能。
• 开发一种通用、可扩展的MCTS框架，适用于分子设计以外的规划与优化任务。

提出的方法

• 所提出的MP-MCTS使用虚拟损失机制，使不同工作者可独立进行模拟，最大限度减少同步开销。
• 采用基于哈希的树分区策略，将搜索树分布到分布式内存环境中的多个计算节点。
• 每个工作者维护访问次数较高的子树本地副本，降低通信频率并提升负载均衡。
• 定期同步子树更新，以保持一致性并提升收敛性。
• 在模拟阶段使用简单的RNN生成模型来采样分子SMILES字符串，实现对化学空间的高效探索。
• 将MCTS与可微奖励函数结合，用于分子性质优化，实现在高维组合空间中的无梯度优化。

实验结果

研究问题

• RQ1 是否一种分布式MCTS算法能在超过100名工作者的规模下保持解的质量，而不同于以往方法？
• RQ2 大规模并行MCTS是否在分子设计中优于结合贝叶斯优化或强化学习的最先进深度生成模型？
• RQ3 虚拟损失与基于哈希的树分区是否能实现在分布式内存系统中高效、可扩展的MCTS，且不牺牲搜索质量？
• RQ4 MP-MCTS是否可作为复杂深度学习模型在现实世界分子设计组合优化中的可行替代方案？

主要发现

• MP-MCTS在10分钟内达到的分子设计得分，与非并行MCTS耗时42小时所达到的水平相当，实现了252倍的加速。
• 该方法优于现有最先进方法，后者依赖更复杂的深度神经网络结合贝叶斯优化或强化学习。
• 即使在256个CPU核心的大规模下，MP-MCTS的解质量依然保持稳定，避免了以往大规模并行MCTS实现中常见的性能下降。
• 使用简单RNN的MP-MCTS在相同基准测试中显著优于更复杂的模型，表明并行搜索效率可超越模型复杂度的优势。
• 所提出的MP-MCTS框架具有通用性，可应用于分子设计以外的其他MCTS相关问题，如逆合成分析。