[论文解读] Solving the Optimal Experiment Design Problem with Mixed-Integer Convex Methods

Deborah Hendrych, Mathieu Besançon+1 more|arXiv (Cornell University)|Dec 18, 2023

Machine Learning and Algorithms参考文献 25被引用 2

一句话总结

该论文提出 Boscia.jl，一种用于通过基于 Frank-Wolfe 的节点松弛的非线性分支定界算法求解最优实验设计问题（OEDP）的新型混合整数凸优化框架。通过保持原始问题结构并高效利用约束多面体，该框架在大规模 OEDP 实例上显著优于通用和专用的 MINLP 求解器。

ABSTRACT

We tackle the Optimal Experiment Design Problem, which consists of choosing experiments to run or observations to select from a finite set to estimate the parameters of a system. The objective is to maximize some measure of information gained about the system from the observations, leading to a convex integer optimization problem. We leverage Boscia.jl, a recent algorithmic framework, which is based on a nonlinear branch-and-bound algorithm with node relaxations solved to approximate optimality using Frank-Wolfe algorithms. One particular advantage of the method is its efficient utilization of the polytope formed by the original constraints which is preserved by the method, unlike alternative methods relying on epigraph-based formulations. We assess the method against both generic and specialized convex mixed-integer approaches. Computational results highlight the performance of the proposed method, especially on large and challenging instances.

研究动机与目标

• 为解决混合整数非线性规划（MINLP）中的大规模最优实验设计问题（OEDP）的计算挑战。
• 开发一种灵活且高效的框架，无需将问题重述为上境或锥形式，从而保持原始问题结构。
• 在多种 OEDP 建模形式上，评估并比较 Boscia.jl 与通用及专用 MINLP 求解器的性能。
• 在光滑性和强自洽性假设下，为 OEDP 问题连续松弛上的 Frank-Wolfe 算法建立收敛性保证。

提出的方法

• 采用非线性分支定界框架，通过 Frank-Wolfe 算法求解连续松弛问题。
• 使用一种优化非线性信息函数的建模方式，该函数定义在截断并缩放的概率单纯形与整数约束的交集中。
• 通过避免上境或锥形式重述，保持原始问题结构，从而保留约束多面体的几何特性。
• 利用信息函数的 L-光滑性和广义自洽性，确保 Frank-Wolfe 子问题的收敛性。
• 在每个节点集成组合求解器，以高效生成整数可行解。
• 支持广泛的性能准则（A、D、G、V 及一般 p-范数），而无需针对特定问题进行重述。

实验结果

研究问题

• RQ1 基于 Frank-Wolfe 的非线性分支定界方法是否能在大规模 OEDP 实例上优于通用和专用 MINLP 求解器？
• RQ2 保持原始问题结构——特别是约束多面体——是否相比基于上境的重述能带来更优性能？
• RQ3 Boscia.jl 框架在 A- 和 D- 最优性之外的多种信息准则下，其效率和收敛性表现如何？
• RQ4 不同目标函数形式（如对数变换或非对数形式）对大规模实例上求解器的性能和间隙收敛有何影响？
• RQ5 在融合与最优设计问题中，Boscia.jl 在相关与独立数据设置下的可扩展性和鲁棒性如何？

主要发现

• Boscia.jl 在独立数据设置下成功求解了 90% 的 GTI-Fusion 问题（p=0.25），几何平均求解时间为 6.57 秒，显著优于 Co-BnB 和 SCIP。
• 在 m=500 的大规模 D-Fusion 问题中，Boscia.jl 在独立数据下实现了 0.0169 的相对间隙和 0.01 的绝对间隙，而 Co-BnB 在未求解实例中出现无穷大间隙。
• 在 n=25 且数据相关的 A-Fusion 问题中，Boscia.jl 将相对间隙降低至 1.0491，绝对间隙为 2.6105，优于 Co-BnB 的 0.9264 和 1.0258。
• Boscia.jl 使用对数迹（log-Tr）目标函数在 p=0.25 且独立数据的 GTI-Fusion 问题中实现 100% 成功率，30 个实例的几何平均求解时间为 1.71 秒。
• 该框架表现出优越的收敛行为，如图 7 所示，在所有测试实例中绝对间隙随时间稳定下降。
• Boscia.jl 成功求解了 Co-BnB 在时间限制内未能解决的 3 个 D-Fusion 问题实例，凸显其在困难实例上的鲁棒性。