[论文解读] Tree-Based Optimization: A Meta-Algorithm for Metaheuristic Optimization

Benyamin Ghojogh, Saeed Sharifian+1 more|arXiv (Cornell University)|Sep 25, 2018

Metaheuristic Optimization Algorithms Research参考文献 45被引用 7

一句话总结

本文提出树基优化（TBO），一种元算法，通过使用树状分区策略迭代剪枝低适应度区域，从而提升元启发式搜索性能。通过在逐步缩小且净化后的搜索子空间上应用任意元启发式算法（如PSO、GA）作为子算法，TBO显著提升了收敛速度与精度，尤其在VLSI CAD设计等高维问题中表现优异。

ABSTRACT

Designing search algorithms for finding global optima is one of the most active research fields, recently. These algorithms consist of two main categories, i.e., classic mathematical and metaheuristic algorithms. This article proposes a meta-algorithm, Tree-Based Optimization (TBO), which uses other heuristic optimizers as its sub-algorithms in order to improve the performance of search. The proposed algorithm is based on mathematical tree subject and improves performance and speed of search by iteratively removing parts of the search space having low fitness, in order to minimize and purify the search space. The experimental results on several well-known benchmarks show the outperforming performance of TBO algorithm in finding the global solution. Experiments on high dimensional search spaces show significantly better performance when using the TBO algorithm. The proposed algorithm improves the search algorithms in both accuracy and speed aspects, especially for high dimensional searching such as in VLSI CAD tools for Integrated Circuit (IC) design.

研究动机与目标

• 解决工程领域（如VLSI CAD）中常见的高维优化问题收敛缓慢、精度低的挑战。
• 开发一种通用框架，增强现有元启发式算法，且无需修改其核心逻辑。
• 通过迭代剪枝系统性地消除无产出区域，降低搜索空间复杂度。
• 提升元启发式优化在高维搜索空间中的速度与精度。

提出的方法

• TBO构建一棵树结构，其中每个节点代表搜索空间的一个子区域，并在每个节点上评估适应度值。
• 在每次迭代中，算法识别并移除适应度值较低的子树，将搜索聚焦于高潜力区域。
• 剪枝过程由适应度评估引导，确保仅保留在全局最优解附近可能性更高的区域。
• 提出三种变体：二叉TBO（逐维分割）、自适应TBO（基于适应度梯度的动态剪枝）和多分支TBO（同时在多个维度上剪枝）。
• 任何现有元启发式算法（如PSO、GA）均可作为TBO中的子算法，用于在缩小后的子区域上执行局部搜索。
• 算法以迭代方式运行，逐层精炼搜索空间，直至收敛至全局最优解。

实验结果

研究问题

• RQ1 能否设计一种元算法，通过降低搜索空间复杂度来提升现有元启发式优化器的性能？
• RQ2 基于树的低适应度区域剪枝如何影响高维优化中的收敛速度与解的精度？
• RQ3 TBO在基准函数和真实世界高维问题中，相较于独立的元启发式算法，其性能优势有多大？
• RQ4 TBO能否有效应用于VLSI IC设计等复杂工程问题，其中高维性与计算成本至关重要？
• RQ5 在性能与可扩展性方面，不同TBO变体（二叉、自适应、多分支）的相对优势是什么？

主要发现

• TBO在基准函数上显著优于独立的元启发式算法（如PSO、GA），尤其在高维设置中，能更有效地找到全局最优解。
• 在三维实验中，以GA作为子算法的TBO平均误差率低于GA单独运行，表现出更高的精度与更快的收敛速度。
• 在高维情况下，TBO通过剪枝无产出区域实现了搜索空间的指数级缩减，从而实现更快、更精确的优化。
• 多分支TBO变体在所有基准测试中均表现出最一致的性能提升，尤其在更高维度中优势显著。
• TBO的性能优势随维度增加而增强，证实其在VLSI CAD工具等复杂真实应用中的可扩展性与有效性。
• 即使在低维基准测试中TBO未超越独立算法，其在高维变体中始终表现更优，凸显其维度相关的优越性。