[论文解读] Opytimizer: A Nature-Inspired Python Optimizer

Gustavo Henrique de Rosa, Rodrigues, Douglas+1 more|arXiv (Cornell University)|Dec 30, 2019

Metaheuristic Optimization Algorithms Research参考文献 30被引用 12

一句话总结

Opytimizer 是一个基于 Python 的开源元启发式优化库，提供用户友好的面向对象框架，用于使用受自然界启发的算法解决连续和复杂优化问题。它支持多种元启发式算法，包括粒子群优化和音乐搜索算法，并与 PyTorch 和 Scikit-Learn 等机器学习框架集成，通过历史记录系统实现高效的超参数调优和基准测试。

ABSTRACT

Optimization aims at selecting a feasible set of parameters in an attempt to solve a particular problem, being applied in a wide range of applications, such as operations research, machine learning fine-tuning, and control engineering, among others. Nevertheless, traditional iterative optimization methods use the evaluation of gradients and Hessians to find their solutions, not being practical due to their computational burden and when working with non-convex functions. Recent biological-inspired methods, known as meta-heuristics, have arisen in an attempt to fulfill these problems. Even though they do not guarantee to find optimal solutions, they usually find a suitable solution. In this paper, we proposed a Python-based meta-heuristic optimization framework denoted as Opytimizer. Several methods and classes are implemented to provide a user-friendly workspace among diverse meta-heuristics, ranging from evolutionary- to swarm-based techniques.

研究动机与目标

• 为研究人员和从业者解决在 Python 中缺乏可访问、用户友好的元启发式优化库的问题。
• 通过高层类和方法抽象数学复杂性，降低元启发式算法的实现负担。
• 实现与主流机器学习框架（如 PyTorch、Scikit-Learn 和 LibOPF）的无缝集成，用于超参数调优和模型优化。
• 支持单目标和多目标优化，包括超复数和实数搜索空间。
• 提供基于历史的追踪系统，用于监控和可视化跨实验的优化过程。

提出的方法

• 该库采用面向对象架构，核心组件包括 SearchSpace、Optimizer、Function 和 Opytimizer 类，用于封装优化任务。
• 实现了多种元启发式算法，包括 PSO、布谷鸟搜索和音乐搜索，每种算法均可配置超参数，如惯性权重和学习率。
• 优化流程遵循标准化工作流：定义目标函数，设置搜索空间边界和代理数量，实例化优化器，并通过 Opytimizer 类运行优化。
• 该框架支持张量计算，可扩展至实数变量之外的超复数优化。
• 包含与 PyTorch、Scikit-Learn、Recogners 和 LibOPF 的预构建集成，每个框架均配有专用目标函数和包装类。
• 优化完成后生成历史对象，存储适应度值和收敛指标，用于后续分析和可视化。

实验结果

研究问题

• RQ1 如何设计一个模块化、用户友好的 Python 库，以简化元启发式优化算法的实现与实验？
• RQ2 统一框架在多领域（包括机器学习和工程）中支持多样化元启发式算法的程度如何？
• RQ3 该库与 PyTorch 和 Scikit-Learn 等主流机器学习框架的集成能力在超参数调优任务中的有效性如何？
• RQ4 Opytimizer 中的历史追踪机制是否能有效支持优化过程的收敛性分析与可视化？
• RQ5 在一个单一、可扩展的框架中同时支持单目标和多目标优化会产生何种影响？

主要发现

• Opytimizer 有效实现了多种元启发式算法，包括 PSO、布谷鸟搜索和音乐搜索，代码结构一致且可重用。
• 该库通过极简的用户代码实现端到端优化工作流，如通过 Opytimizer 调优超参数的受限玻尔兹曼机所展示的那样。
• 优化过程中生成的历史对象记录了适应度演化过程，支持详细的收敛性分析与图表生成。
• 该框架支持多目标优化，显著扩展了其在工程和机器学习中单目标问题之外的应用范围。
• 与 PyTorch 和 Scikit-Learn 的集成支持通过标准化目标函数包装器对神经网络、逻辑回归和聚类模型进行优化。
• 该库的模块化设计支持新元启发式算法的快速原型开发，并可扩展至超复数优化空间。