[论文解读] PropertyDAG: Multi-objective Bayesian optimization of partially ordered, mixed-variable properties for biological sequence design

Ji Won Park, Samuel C. Stanton+7 more|arXiv (Cornell University)|Oct 8, 2022

Advanced Multi-Objective Optimization Algorithms被引用 6

一句话总结

PropertyDAG 引入了一种贝叶斯优化框架，通过修改代理后验推断以建模零膨胀目标并基于父属性可行性来优化，从而在混合变量生物序列属性（如在抗体设计中表达优先于亲和力）之间强制执行部分顺序。该方法在识别联合正例（例如，表达且高效力的抗体）方面显著优于标准多目标贝叶斯优化，在青霉素、玩具和真实世界抗体任务的模拟主动学习中，实现了更高的联合正例数量和更准确的后验信念。

ABSTRACT

Bayesian optimization offers a sample-efficient framework for navigating the exploration-exploitation trade-off in the vast design space of biological sequences. Whereas it is possible to optimize the various properties of interest jointly using a multi-objective acquisition function, such as the expected hypervolume improvement (EHVI), this approach does not account for objectives with a hierarchical dependency structure. We consider a common use case where some regions of the Pareto frontier are prioritized over others according to a specified $ extit{partial ordering}$ in the objectives. For instance, when designing antibodies, we would like to maximize the binding affinity to a target antigen only if it can be expressed in live cell culture -- modeling the experimental dependency in which affinity can only be measured for antibodies that can be expressed and thus produced in viable quantities. In general, we may want to confer a partial ordering to the properties such that each property is optimized conditioned on its parent properties satisfying some feasibility condition. To this end, we present PropertyDAG, a framework that operates on top of the traditional multi-objective BO to impose this desired ordering on the objectives, e.g. expression $ ightarrow$ affinity. We demonstrate its performance over multiple simulated active learning iterations on a penicillin production task, toy numerical problem, and a real-world antibody design task.

研究动机与目标

• 为解决标准多目标贝叶斯优化在处理生物序列属性之间层次依赖关系（如抗体设计中表达优先于亲和力）方面的局限性。
• 为生物设计中常见的混合变量目标建模，其中某些属性表现出过多零值（例如，未表达的抗体）和重尾非零分布。
• 通过优先考虑满足父属性阈值的设计，以提高主动学习中的样本效率。
• 通过将实验和生物学先验（例如，只有表达蛋白才能测量亲和力）编码到优化框架中，加速计算药物发现。

提出的方法

• 该框架将每个目标建模为二元分类器（用于零值与非零值结果）和连续回归器（用于非零值）的混合，从而实现对生物属性的零膨胀建模。
• 通过有向无环图（DAG）对目标施加部分顺序，其中子目标仅在满足其父目标可行性阈值的设计上进行优化。
• 对代理模型的后验样本进行变换，以尊重DAG结构，确保仅考虑父属性条件可行的设计用于子目标优化。
• 采集函数采用针对DAG结构后验的期望超体积改进（EHVI），实现在层次约束下的联合优化。
• 该方法在标准多目标贝叶斯优化循环内运行，将DAG感知的后验变换作为采集函数评估前的预处理步骤。

实验结果

研究问题

• RQ1 贝叶斯优化框架能否有效优先处理具有已知部分顺序的目标（如抗体设计中表达优先于亲和力），以改善联合正例的识别？
• RQ2 在生物序列设计中，对混合变量目标（二元表达、实值亲和力）采用零膨胀分布建模，如何影响优化性能？
• RQ3 在主动学习中，对目标施加层次依赖关系在多大程度上能减少非可行或浪费的实验室评估？
• RQ4 与标准多目标贝叶斯优化相比，DAG结构后验变换是否能带来更准确的联合正例后验信念？

主要发现

• 在青霉素生产任务中，PropertyDAG-BO 在模拟主动学习的各轮迭代中，显著识别出比 qNEHVI 和 Random 基线更多的联合正例，方差更低且持续改进。
• 在 Branin-Currin 玩具问题中，qNEHVI-DAG 选择的候选者中，高于目标1（亲和力）阈值的数量更多，且联合正例数量高于 qNEHVI 和 Random，尤其在后期迭代中表现更优。
• 在真实世界抗体设计任务中，qNEHVI-DAG 识别出的联合正例（表达性结合剂）多于 qNEHVI 和 Random，误差带显示在五组数据划分和重复试验中均保持一致优势。
• 在测试集亲和力测量值处评估的对数后验密度，qNEHVI-DAG 最高，表明其代理模型在最终迭代后对联合正例形成了更准确的信念。
• 该框架在多样化任务（从合成到真实生物问题）中表现出稳健性能，证实其在药物设计中混合变量、部分有序目标上的泛化能力。