[论文解读] On Classes of Functions for which No Free Lunch Results Hold

Christian Igel, Marc Toussaint|ArXiv.org|Aug 21, 2001

Advanced Algebra and Logic参考文献 4被引用 6

一句话总结

本文表明，No Free Lunch (NFL) 定理——即所有算法在平均性能上表现相当——仅在搜索空间的函数类对置换封闭时成立。作者证明，此类函数类极为稀少，其比例随搜索空间大小呈指数级衰减，且实际相关问题极不可能对置换封闭，这意味着 NFL 不适用于现实世界中的优化问题。

ABSTRACT

In a recent paper it was shown that No Free Lunch results hold for any subset F of the set of all possible functions from a finite set X to a finite set Y iff F is closed under permutation of X. In this article, we prove that the number of those subsets can be neglected compared to the overall number of possible subsets. Further, we present some arguments why problem classes relevant in practice are not likely to be closed under permutation.

研究动机与目标

• 确定 No Free Lunch (NFL) 定理在目标函数子集上成立的条件。
• 量化对置换封闭（c.u.p.）的函数子集所占比例，该比例是 NFL 成立的必要且充分条件。
• 论证现实世界优化问题通常不对搜索空间的置换封闭，这意味着 NFL 不会限制实际算法的性能。
• 为 NFL 结果在大多数实际函数类中无关紧要提供理论依据。

提出的方法

• 定义函数类 F 为对置换封闭（c.u.p.），若对输入空间 X 的任意置换 π，将任意 f ∈ F 映射为 f∘π 后，结果仍属于 F。
• 采用基于直方图的函数分类方法：具有相同输出值频率分布的函数构成基类。
• 证明对置换封闭的子集数量等于这些基类的非空并集数量，即 2^(binomial(|X|+|Y|-1, |X|)) - 1。
• 计算对置换封闭的子集占所有 F = Y^X 的非空子集的比例，表明其随 |X| 和 |Y| 呈指数级衰减。
• 论证现实世界问题通常涉及结构化的搜索空间和约束（例如局部极小值、OBDD 复杂度），这些会破坏置换封闭性。
• 利用函数在置换下的轨道结构，证明对置换封闭的子集必须是完整基类的并集，而非部分基类的并集。

实验结果

研究问题

• RQ1 NFL 定理在哪些目标函数类中成立？
• RQ2 所有可能的函数子集中，对置换封闭（c.u.p.）的子集所占比例是多少？
• RQ3 现实世界优化问题通常对搜索空间的置换封闭吗？
• RQ4 实际问题中的结构化约束是否可能阻止 NFL 结果的适用？
• RQ5 搜索空间大小与陪域大小如何影响 c.u.p. 函数类的普遍性？

主要发现

• 对置换封闭的非空函数子集数量为 2^(binomial(|X|+|Y|-1, |X|)) - 1。
• 在所有 F = Y^X 的非空子集中，c.u.p. 子集所占比例极小，例如当 |X|=3、|Y|=2 时，比例小于 10^(-170)。
• 随着 |X| 或 |Y| 增大，c.u.p. 子集的比例迅速趋近于零。
• 涉及结构化搜索空间和约束（如局部极小值受限、OBDD 复杂度有限）的现实世界问题，极不可能对置换封闭。
• 由于 NFL 定理仅在 c.u.p. 类中成立，而此类类数量可忽略且在现实中极为稀少，因此 NFL 不会限制现实世界设置中的算法性能。
• 该结果意味着在实践中算法选择具有实际意义，因为性能差异不会在所有函数上被平均化。