[论文解读] On Optimality Condition of Complex Systems: Computational Evidence

Victor Korotkikh, Galina Korotkikh+1 more|ArXiv.org|Apr 23, 2005

Advanced Thermodynamics and Statistical Mechanics被引用 8

一句话总结

本文提出了一种复杂系统的计算最优性条件，表明当算法复杂度与问题复杂度呈线性关系时，优化算法可达到最佳性能。通过采用基于Prouhet-Thue-Morse序列驱动策略切换的动态代理算法，研究展示了凸性能曲线，并在最优性能下验证了算法复杂度与问题复杂度之间的线性关系，为理解复杂优化任务中最佳系统行为提供了新框架。

ABSTRACT

A general condition determining the optimal performance of a complex system has not yet been found and the possibility of its existence is unknown. To contribute in this direction, an optimization algorithm as a complex system is presented. The performance of the algorithm for any problem is controlled as a convex function with a single optimum. To characterize the performance optimums, certain quantities of the algorithm and the problem are suggested and interpreted as their complexities. An optimality condition of the algorithm is computationally found: if the algorithm shows its best performance for a problem, then the complexity of the algorithm is in a linear relationship with the complexity of the problem. The optimality condition provides a new perspective to the subject by recognizing that the relationship between certain quantities of the complex system and the problem may determine the optimal performance.

研究动机与目标

• 探究复杂系统中是否存在普遍的最优性条件，特别是在优化任务中。
• 将优化算法建模为具有可控动力学和可测量性能的复杂系统。
• 识别算法复杂度与问题复杂度之间的定量关系是否决定最优性能。
• 探讨此类关系对设计更高效优化算法的启示。

提出的方法

• 将优化算法建模为使用随机策略和贪婪策略求解旅行商问题的N个计算代理组成的系统。
• 引入控制参数v，基于代理距离分布定义成功阈值，将性能划分为成功与失败区间。
• 使用Prouhet-Thue-Morse序列指导策略切换：若上一策略成功则继续，否则根据序列确定下一选择。
• 将算法复杂度定义为代理策略的方差-协方差矩阵的迹，问题复杂度定义为距离矩阵的迹。
• 通过在0到1.1之间调节v值，控制算法行为，观察不同v值下的性能表现。
• 将性能分析为v的凸函数，并为每个问题实例识别最优v值。

实验结果

研究问题

• RQ1 在最优性能下，算法复杂度与问题复杂度之间是否存在一致关系？
• RQ2 能否通过系统复杂度与问题复杂度之间的函数关系预测复杂系统的最优性能？
• RQ3 该算法的性能是否在不同问题实例中保持凸性，从而实现对控制参数的高效优化？
• RQ4 不同算法设计中，复杂度关系的强度如何变化？

主要发现

• 对于算法A，最优性能下算法复杂度与问题复杂度之间的关系可通过线性回归良好拟合，决定系数R² = 0.71，表明具有强一致性。
• 算法A的回归直线为y = 0.96x + 0.08，斜率为0.96 ± 0.02，表明在最优性能下存在近乎完美的线性关系。
• 对于算法B，该关系较弱，R² = 0.26，标准误差较高（0.18），且回归直线y = 0.48x + 0.23的拟合精度较低，表明一致性减弱。
• 算法A的性能是控制参数v的凸函数，可通过凸优化实现高效优化。
• 结果表明，当算法复杂度与问题复杂度呈线性关系时，最优性能得以涌现，支持了一种新的最优性条件。
• 研究暗示未来算法可通过可调复杂度控制设计以匹配问题复杂度，从而可能实现最优解。