[论文解读] Stochastic convergence of random search to fixed size Pareto set approximations

Marco Laumanns|arXiv (Cornell University)|Nov 19, 2007

Advanced Multi-Objective Optimization Algorithms参考文献 17被引用 7

一句话总结

本文提出了一种针对固定大小 $k$ 的帕累托集的随机搜索算法的随机收敛结果，可保证误差界 $ epsilon$。它引入了一种基于多级网格的选择标准，确保几乎必然收敛到一个 $ epsilon$-帕累托集，其中 $ epsilon = 2^{ elta}$，$ elta$ 是允许以最多 $k$ 个点完全覆盖帕累托集的最粗糙网格层级。

ABSTRACT

This paper presents the first convergence result for random search algorithms to a subset of the Pareto set of given maximum size k with bounds on the approximation quality. The core of the algorithm is a new selection criterion based on a hypothetical multilevel grid on the objective space. It is shown that, when using this criterion for accepting new search points, the sequence of solution archives converges with probability one to a subset of the Pareto set that epsilon-dominates the entire Pareto set. The obtained approximation quality epsilon is equal to the size of the grid cells on the finest level of resolution that allows an approximation with at most k points within the family of grids considered. While the convergence result is of general theoretical interest, the archiving algorithm might be of high practical value for any type iterative multiobjective optimization method, such as evolutionary algorithms or other metaheuristics, which all rely on the usage of a finite on-line memory to store the best solutions found so far as the current approximation of the Pareto set.

研究动机与目标

• 建立随机搜索对帕累托集固定大小子集的几乎必然收敛性，且逼近误差有界。
• 解决迭代多目标优化方法（如进化算法）中有限内存归档的实际需求。
• 为给定的最大存档大小 $k$，提供逼近质量的理论保证，以 $\nepsilon$-支配性量化。
• 提出一种基于目标空间中分层网格的新型选择机制，实现对明确逼近质量的收敛。
• 通过网格分辨率层级形式化存档大小 $k$ 与逼近误差 $\nepsilon$ 之间的权衡。

提出的方法

• 在目标空间中引入多级网格结构，每一级对应不同的单元大小 $2^b$。
• 基于网格单元定义支配关系 $\unrhd_b$：若 $f(x) + 2^b \geq f(y)$，则 $x \unrhd_b y$，实现基于盒子的比较。
• 在归档算法中采用两阶段更新规则：首先，使用 $\unrhd_b$ 移除当前存档中被支配的点；其次，仅当改进覆盖范围或保持独立性时才添加新点。
• 在更新过程中采用动态网格层级 $\beta$，以平衡覆盖范围与多样性，确保存档保持独立且非被支配。
• 在马尔可夫链框架中应用吸收态概念证明收敛性，当系统无法再进行改进时即稳定。
• 利用最小网格层级 $\delta$，使得 $k$ 个点可基于盒子支配整个帕累托集，从而定义逼近误差 $\nepsilon = 2^{\nelta}$。

实验结果

研究问题

• RQ1 随机搜索算法能否以有界误差 $\nepsilon$ 随机收敛到帕累托集的固定大小近似？
• RQ2 何种选择标准可确保存档收敛到大小最多为 $k$ 的 $\nepsilon$-帕累托集？
• RQ3 逼近误差 $\nepsilon$ 如何与网格分辨率及最大存档大小 $k$ 相关联？
• RQ4 在所提出的选则规则下，收敛到 $\nepsilon$-帕累托集是否为几乎必然？
• RQ5 所提方法能否保证最终存档在最小冗余下覆盖整个帕累托集至 $\nepsilon$-支配性？

主要发现

• 由随机搜索算法生成的解存档序列以概率 1 收敛到帕累托集的一个子集，该子集 $\nepsilon$-支配整个帕累托集。
• 逼近误差 $\nepsilon$ 恰好为 $2^{\nelta}$，其中 $\nelta$ 是允许以最多 $k$ 个点完全覆盖帕累托集的最粗糙网格层级。
• 算法的马尔可夫链的任意吸收态均满足 $\mathcal{B}_{\nelta}(\mathcal{A}) = \mathcal{X}$，即存档 $\mathcal{A}$ $\nepsilon$-支配所有可行解。
• 该算法确保在层级 $\nelta-1$ 的每个网格盒中覆盖的帕累托集元素数量最大化，且满足约束 $|\mathcal{A}| \leq k$。
• 该方法保证最终存档为一个 $\nepsilon$-帕累托集；当 $\nepsilon = 0$ 时，退化为标准的覆盖独立集。
• 该收敛结果在搜索空间有限的假设下成立，且该框架为元启发式算法中的有限内存归档提供了理论基础。