[论文解读] The tree reconstruction game: phylogenetic reconstruction using reinforcement learning

Dana Azouri, Oz Granit+4 more|arXiv (Cornell University)|Mar 12, 2023

Genomics and Phylogenetic Studies被引用 5

一句话总结

本文提出一种强化学习（RL）框架，具体为深度Q学习（deep Q-learning），通过在树空间中学习策略性搜索策略来优化系统发育树重建。与依赖于贪婪似然提升的传统启发式方法不同，该方法学习一系列树重排操作，以获得更高的似然分数，在最多20条序列的实测数据上，性能可与现有成熟软件相媲美。

ABSTRACT

We propose a reinforcement-learning algorithm to tackle the challenge of reconstructing phylogenetic trees. The search for the tree that best describes the data is algorithmically challenging, thus all current algorithms for phylogeny reconstruction use various heuristics to make it feasible. In this study, we demonstrate that reinforcement learning can be used to learn an optimal search strategy, thus providing a novel paradigm for predicting the maximum-likelihood tree. Our proposed method does not require likelihood calculation with every step, nor is it limited to greedy uphill moves in the likelihood space. We demonstrate the use of the developed deep-Q-learning agent on a set of unseen empirical data, namely, on unseen environments defined by nucleotide alignments of up to 20 sequences. Our results show that the likelihood scores of the inferred phylogenies are similar to those obtained from widely-used software. It thus establishes a proof-of-concept that it is beneficial to optimize a sequence of moves in the search-space, rather than optimizing the progress made in every single move only. This suggests that a reinforcement-learning based method provides a promising direction for phylogenetic reconstruction.

研究动机与目标

• 为解决系统发育重建中大规模树空间搜索的计算挑战。
• 克服当前启发式方法仅在似然度上进行局部、贪婪改进的局限性。
• 探究强化学习是否能够学习一种全局搜索策略，从而比逐步上升的优化方式更有效地提升似然度。
• 在最多20条序列的未见实测核苷酸比对数据上验证该方法的有效性。
• 建立一个概念验证，证明在树搜索空间中对序列进行优化可提升重建准确性。

提出的方法

• 该方法将系统发育树重建建模为马尔可夫决策过程（MDP），其中状态表示树拓扑结构，动作表示树重排操作（如NNI移动）。
• 使用深度Q网络（DQN）智能体，通过基于多步似然度提升的累积奖励最大化来选择动作。
• 利用经验回放和目标网络训练智能体以稳定学习过程，奖励由每次移动后似然度的变化进行设计。
• 通过利用学习到的价值函数引导探索，避免在每一步都重新计算似然度。
• 训练环境基于实测核苷酸比对构建，评估阶段模拟未见数据场景。
• 该方法在推理阶段无需在每一步都进行似然度计算，从而实现高效策略部署。

实验结果

研究问题

• RQ1 强化学习智能体能否学习到优于贪婪似然上升的系统发育树重建更优搜索策略？
• RQ2 在树空间中学习一系列移动操作，是否能获得比孤立优化每步移动更高的似然度分数？
• RQ3 该RL智能体能否在无需微调的情况下泛化到未见的实测数据集（最多20条序列）？
• RQ4 与现有系统发育软件相比，基于RL的方法在似然度和树准确性方面的表现如何？
• RQ5 是否可行训练一个RL智能体在复杂且高维的树拓扑空间中导航，而无需进行详尽的似然度评估？

主要发现

• 深度Q学习智能体在实测数据集上获得的似然度分数，与广泛使用的系统发育软件工具相当。
• 该方法表明，通过在树空间中优化长期奖励（而非仅局部似然增益），可实现更优的整体树重建效果。
• 智能体成功泛化到未见的实测比对数据，表明其对新数据分布具有鲁棒性。
• 该方法在推理阶段减少了对每步似然度计算的依赖，提升了计算效率。
• 结果验证了强化学习可在树空间中学习到有效且非贪婪的搜索策略，为启发式方法提供有前景的替代方案。
• 本研究展示了概念验证：基于RL的搜索序列优化可优于传统贪婪搜索在系统发育推断中的表现。