[论文解读] Population Scalability Analysis of Abstract Population-based Random Search: I. Spectral Radius

Tianshi Chen, Jun He|arXiv (Cornell University)|Jun 20, 2012

Metaheuristic Optimization Algorithms Research参考文献 32被引用 1

一句话总结

本文提出了一种基于谱半径的新型框架，利用基本矩阵分析抽象基于种群的随机搜索（ARS）在种群规模扩展方面的表现，这是一种通用的随机优化算法类别。研究证明，在规则单调的景观上，超线性可扩展性是不可能的，但在欺骗性景观上，若满足两个条件——'可连接点'和'多样性保持'——则可能发生超线性可扩展性。

ABSTRACT

Population-based Random Search (RS) algorithms, such as Evolutionary Algorithms (EAs), Ant Colony Optimization (ACO), Artificial Immune Systems (AIS) and Particle Swarm Optimization (PSO), have been widely applied to solving discrete optimization problems. A common belief in this area is that the performance of a population-based RS algorithm may improve if increasing its population size. The term of population scalability is used to describe the relationship between the performance of RS algorithms and their population size. Although understanding population scalability is important to design efficient RS algorithms, there exist few theoretical results about population scalability so far. Among those limited results, most of them belong to case studies, e.g. simple RS algorithms for simple problems. Different from them, the paper aims at providing a general study. A large family of RS algorithms, called ARS, has been investigated in the paper. The main contribution of this paper is to introduce a novel approach based on the fundamental matrix for analyzing population scalability. The performance of ARS is measured by a new index: spectral radius of the fundamental matrix. Through analyzing fundamental matrix associated with ARS, several general results have been proven: (1) increasing population size may increase population scalability; (2) no super linear scalability is available on any regular monotonic fitness landscape; (3) potential super linear scalability may exist on deceptive fitness landscapes; (4) “bridgeable point” and “diversity preservation” are two necessary conditions for super linear scalability

研究动机与目标

• 为理解基于种群的随机搜索（RS）算法中的种群可扩展性，填补缺乏通用理论框架的空白。
• 探究增加种群规模是否可在多种适应度景观上带来超线性性能提升。
• 识别在简单案例研究之外，RS算法中超线性可扩展性的必要条件。
• 开发一种适用于广泛RS算法家族（包括EAs、PSO、ACO和AIS）的一般分析方法。
• 利用矩阵理论工具，特别是基本矩阵的谱半径，建立可扩展性的理论边界。

提出的方法

• 提出一种通用框架，用于分析抽象基于种群的随机搜索（ARS）中的种群可扩展性，这是一种广泛的RS算法类别。
• 引入基本矩阵作为核心分析工具，用于建模ARS随时间的状态转移。
• 将基本矩阵的谱半径定义为性能指标，用于量化收敛行为和可扩展性。
• 应用矩阵理论分析，推导不同适应度景观结构下ARS的一般性质。
• 使用谱分析比较规则单调景观与欺骗性适应度景观之间的可扩展性趋势。
• 识别出实现超线性可扩展性的结构性条件——'可连接点'和'多样性保持'。

实验结果

研究问题

• RQ1 增加种群规模是否可在基于种群的随机搜索算法中带来超线性可扩展性？
• RQ2 适应度景观的哪些结构性特征可允许或阻止超线性可扩展性？
• RQ3 基本矩阵的谱半径与ARS的性能和可扩展性有何关系？
• RQ4 是否存在一组普遍条件，使得在不同RS算法中均可实现超线性可扩展性？
• RQ5 '可连接点'和'多样性保持'在实现超线性可扩展性中发挥何种作用？

主要发现

• 增加种群规模可提升种群可扩展性，但仅在特定景观条件下成立。
• 在任何规则单调适应度景观上，无论种群规模多大，均不可能实现超线性可扩展性。
• 仅在欺骗性适应度景观上存在实现超线性可扩展性的可能，此类景观会误导简单搜索路径。
• 存在'可连接点'（允许在不同盆地间高效探索的转移点）是实现超线性可扩展性的必要条件。
• '多样性保持'（在搜索空间中维持足够的探索能力）是实现超线性可扩展性的另一必要条件。
• 基本矩阵的谱半径可作为量化ARS中可扩展性趋势的有效且可分析的性能指标。