[论文解读] Recent Results on No-Free-Lunch Theorems for Optimization

Christian Igel, Marc Toussaint|ArXiv.org|Mar 31, 2003

Metaheuristic Optimization Algorithms Research参考文献 10被引用 13

一句话总结

本文将优化问题中的无免费午餐（NFL）定理推广至任意非均匀的目标函数分布，建立了NFL结果成立的必要与充分条件。研究证明，当且仅当在置换群作用下属于同一轨道的函数具有相等的先验概率时，不同算法之间才存在NFL等价性，表明在现实世界中常见的非均匀分布下，NFL结果极不可能成立。

ABSTRACT

The sharpened No-Free-Lunch-theorem (NFL-theorem) states that the performance of all optimization algorithms averaged over any finite set F of functions is equal if and only if F is closed under permutation (c.u.p.) and each target function in F is equally likely. In this paper, we first summarize some consequences of this theorem, which have been proven recently: The average number of evaluations needed to find a desirable (e.g., optimal) solution can be calculated; the number of subsets c.u.p. can be neglected compared to the overall number of possible subsets; and problem classes relevant in practice are not likely to be c.u.p. Second, as the main result, the NFL-theorem is extended. Necessary and sufficient conditions for NFL-results to hold are given for arbitrary, non-uniform distributions of target functions. This yields the most general NFL-theorem for optimization presented so far.

研究动机与目标

• 为解决现有NFL定理在优化问题中对均匀分布假设的局限性。
• 确定实际问题类别在置换下封闭（c.u.p.）的可能性，这是NFL结果成立的前提条件。
• 推导在任意非均匀目标函数分布下NFL定理成立的必要与充分条件。
• 分析在NFL条件下找到理想解所需的平均评估次数。
• 评估现实世界约束是否导致满足NFL前提条件的函数类。

提出的方法

• 使用有限搜索空间 $\mathcal{X}$、有限代价值集合 $\mathcal{Y}$ 和目标函数 $f: \mathcal{X} \to \mathcal{Y}$ 对优化场景进行形式化。
• 引入置换群 $\Pi(\mathcal{X})$ 作用下的轨道 $B_h$ 概念，将彼此为置换关系的函数归为一类。
• 定义性能度量 $c$，将代价值序列映射为实数，用于评估算法性能。
• 证明：NFL等价性在两个算法 $a$ 和 $b$ 之间成立，当且仅当同一轨道 $B_h$ 中的所有函数具有相等的先验概率 $p(f) = p(g)$，其中 $f,g \in B_h$。
• 使用克罗内克函数 $\delta(k, c(Y(f,m,a)))$ 比较不同函数与算法下的性能分布。
• 通过反证法证明必要性与充分性：若同一轨道中 $f,g$ 的先验概率不等，即 $p(f) \neq p(g)$，则存在某些 $c$、$k$、$a$、$b$ 使得NFL等价性不成立。

实验结果

研究问题

• RQ1 在非均匀目标函数分布下，所有优化算法在平均性能上相等的条件是什么？
• RQ2 随机选取的函数子集在置换下封闭（c.u.p.）的可能性有多大？这是NFL定理成立的必要条件。
• RQ3 现实世界优化问题中的实际约束是否导致满足c.u.p.或NFL条件的函数类？
• RQ4 在NFL条件下，找到理想解所需的平均函数评估次数是多少？
• RQ5 NFL定理能否超越均匀分布，推广至目标函数的任意非均匀先验分布？

主要发现

• 在任意分布下NFL结果成立的必要与充分条件是：在置换作用下属于同一轨道的函数具有相等的先验概率。
• 当同一轨道中函数的先验概率不相等时，即使它们互为置换，NFL等价性也会失效。
• 在一般非均匀情况下，随机选择的函数分布满足NFL条件的概率为零。
• 针对均匀分布的强化版NFL定理是新一般化NFL定理的特例，其中i.i.d.函数值意味着轨道概率相等。
• 在NFL条件下，可以计算找到最优解所需的平均评估次数，但此类条件在现实中极为罕见。
• 实际中相关的优化问题类别极不可能在置换下封闭，因此NFL结果难以适用于大多数真实世界的优化场景。