[论文解读] Population-Based Black-Box Optimization for Biological Sequence Design

Christof Angermueller, David Belanger+6 more|arXiv (Cornell University)|Jun 5, 2020

Metaheuristic Optimization Algorithms Research被引用 15

一句话总结

本文提出群体式基于黑箱优化（P3BO），通过从一组优化算法的集合中采样序列，以提升生物序列设计的鲁棒性与多样性，其中每种算法的贡献由其过往表现加权。P3BO 在寻找更高品质、更多样化的序列方面优于单一方法，自适应-P3BO 进一步通过在线进化搜索实现超参数调优，从而提升性能。

ABSTRACT

The use of black-box optimization for the design of new biological sequences is an emerging research area with potentially revolutionary impact. The cost and latency of wet-lab experiments requires methods that find good sequences in few experimental rounds of large batches of sequences--a setting that off-the-shelf black-box optimization methods are ill-equipped to handle. We find that the performance of existing methods varies drastically across optimization tasks, posing a significant obstacle to real-world applications. To improve robustness, we propose Population-Based Black-Box Optimization (P3BO), which generates batches of sequences by sampling from an ensemble of methods. The number of sequences sampled from any method is proportional to the quality of sequences it previously proposed, allowing P3BO to combine the strengths of individual methods while hedging against their innate brittleness. Adapting the hyper-parameters of each of the methods online using evolutionary optimization further improves performance. Through extensive experiments on in-silico optimization tasks, we show that P3BO outperforms any single method in its population, proposing higher quality sequences as well as more diverse batches. As such, P3BO and Adaptive-P3BO are a crucial step towards deploying ML to real-world sequence design.

研究动机与目标

• 解决现有黑箱优化方法在生物序列设计中表现脆弱的问题，这些方法在不同问题上的性能差异显著。
• 克服湿实验中大规模批量使用导致的次优问题，当前方法常生成高度相似的序列。
• 通过动态、基于性能加权的多种优化算法集合，提升对超参数选择和归纳偏置的鲁棒性。
• 通过基于种群框架下跨算法共享观测结果，提升序列多样性并实现收敛至不同最优解。
• 开发一种可扩展、自适应的框架，通过在线超参数优化从初始算法选择不佳中恢复。

提出的方法

• P3BO 维持一个异质的优化算法群体，包括基于模型的（判别式与生成式）和进化策略，以覆盖多样的搜索行为。
• 每轮中，每个算法提出一批序列，其表现通过基于相对于最佳已知适应度改进的奖励函数评估：$ r^t_i = \frac{\text{max}\big(f(\boldsymbol{x}) \text{ for } \boldsymbol{x} \text{ in } \boldsymbol{X}^t_i\big) - f_{\text{max}}}{f_{\text{max}}} $。
• 算法按与其信用分 $ s^t_i $ 成比例的概率被选择，信用分通过过去奖励的加权和（指数衰减）计算：$ s^t_i = \big(\text{sum over } t' \text{ up to } t\big) r^{t'}_i \times \tau^{t-t'} $。
• 选择概率通过归一化信用分的 softmax 计算：$ p_i = \frac{\text{exp}(\tilde{s}_i / \tau)}{\text{sum of } \text{exp}(\tilde{s}_j / \tau)} $，其中 $ \tau $ 控制探索与利用的权衡。
• 自适应-P3BO 通过进化搜索在线调优群体成员的超参数，扩展了 P3BO：通过锦标赛选择选出表现最佳的算法，重组并突变其超参数。
• 该方法在所有算法之间共享全部实验数据，实现知识迁移并提升样本效率。

实验结果

研究问题

• RQ1 标准黑箱优化方法在不同生物序列设计问题上的表现如何变化？其脆弱性的成因是什么？
• RQ2 多样化的优化算法集合是否能提升批量离散黑箱优化中生物序列设计的鲁棒性与性能？
• RQ3 基于性能动态分配采样预算至不同算法，在多大程度上能提升序列质量和多样性？
• RQ4 对组成算法的在线超参数自适应是否能进一步提升优化性能并实现从初始配置不佳中的恢复？
• RQ5 在广泛的体外序列设计任务中，P3BO 与单方法基线相比，在收敛速度、多样性与鲁棒性方面表现如何？

主要发现

• P3BO 显著优于其群体中的任何单一方法，在多种体外优化问题中持续找到更高品质的序列。
• P3BO 生成的序列批次多样性高于基线方法，后者常因共享的归纳偏置而产生高度相似的候选序列。
• 该方法在具有不同函数形式的问题（如 PdbIsing 和 PfamHMM）中表现出鲁棒性，而单一方法在这些问题中表现出性能排名反转。
• 自适应-P3BO 通过在线超参数调优，进一步提升了 P3BO 的性能，实现了从初始算法群体不佳中的恢复。
• 基于信用的选型机制有效优先选择高性能算法，同时通过温度控制的 softmax 采样保持探索能力。
• 在超过 100 项批量黑箱优化任务的实证评估中，P3BO 与自适应-P3BO 均实现了更快收敛至不同最优解，并获得更优的整体适应度。