[论文解读] There is no fast lunch: an examination of the running speed of evolutionary algorithms in several languages

J. J. Merelo, Pablo García‐Sánchez+2 more|arXiv (Cornell University)|Nov 3, 2015

Evolutionary Algorithms and Applications参考文献 9被引用 3

一句话总结

本论文对四种主流编程语言——Lua、JavaScript（Node.js）、Python 和 Scala——在字符串和向量表示下，对进化算法操作（特别是位翻转变异）的执行速度进行了基准测试。结果表明，与编译型语言相比，解释型语言如 Python 和 JavaScript 在各种问题规模下反而表现更优，挑战了编译型语言在科学计算任务中普遍更快的假设。

ABSTRACT

It is quite usual when an evolutionary algorithm tool or library uses a language other than C, C++, Java or Matlab that a reviewer or the audience questions its usefulness based on the speed of those other languages, purportedly slower than the aforementioned ones. Despite speed being not everything needed to design a useful evolutionary algorithm application, in this paper we will measure the speed for several very basic evolutionary algorithm operations in several languages which use different virtual machines and approaches, and prove that, in fact, there is no big difference in speed between interpreted and compiled languages, and that in some cases, interpreted languages such as JavaScript or Python can be faster than compiled languages such as Scala, making them worthy of use for evolutionary algorithm experimentation.

研究动机与目标

• 挑战普遍认为编译型语言（如 C++、Java、Scala）在进化算法（EA）实现中天然快于解释型语言（如 Python、JavaScript、Perl）的假设。
• 评估广泛使用的编程语言在执行进化算法核心变异算子（一种频繁调用但常被忽视的操作）时的性能表现。
• 评估语言选择是否在不同染色体大小和数据表示方式（位串与布尔向量）下显著影响运行时性能。
• 为研究人员在选择编程语言时提供实证依据，兼顾性能与开发效率，尤其是在科学计算场景中。

提出的方法

• 在四种语言（Lua、JavaScript（Node.js）、Python 和 Scala）中，对长度从 8 到 65,536 位的二进制字符串执行位翻转变异操作的性能进行基准测试。
• 采用两种数据表示方式实现变异操作：位串（由 '0' 和 '1' 组成的字符串）和基于向量的表示（如 Scala 中的 Vector[Boolean]，其他语言中为数组）。
• 在所有语言中使用一致且最小化的实现，以隔离语言和运行时特性带来的性能差异，避免算法或库级别的优化。
• 对每个测试用例测量 10,000 次变异操作的执行时间，并以 CSV 格式记录结果，便于后续统计分析。
• 使用 R 和 ggplot2 可视化性能趋势，以识别性能模式、平台期及随规模增长的性能退化现象。
• 在多个问题规模下分析结果，以评估可扩展性并识别语言特异性的性能特征。

实验结果

研究问题

• RQ1 编程语言的选择是否显著影响进化算法中变异算子的运行时间？
• RQ2 解释型语言（如 Python、JavaScript 或 Lua）在基本 EA 操作中是否比编译型语言（如 Scala）更慢？
• RQ3 不同数据表示方式（位串与布尔向量）对各语言的性能有何影响？
• RQ4 性能是否随染色体大小非线性变化？是否存在执行时间的平台期或拐点？
• RQ5 在考虑开发速度和生态系统支持的前提下，解释型语言是否能在实际的 EA 工作负载中超越编译型语言？

主要发现

• 对于小规模染色体（最多 128 位），Lua 表现出最快的性能，在此范围内优于所有其他语言。
• Python 和 JavaScript（Node.js）在广泛的问题规模范围内表现出极高的性能一致性，其执行时间在位串长度达 1,024 位之前基本不随大小变化。
• 在较大染色体规模（>1,024 位）下，Python 和 JavaScript 维持了强劲的性能表现，其中 Python 在最大规模范围内整体表现最快。
• 尽管 Scala 是针对 JVM 的编译型语言，但在大多数问题规模下仍被 Python 和 JavaScript 等解释型语言超越，尤其在超过 128 位后更为明显。
• 语言间的性能差距在不同规模下并不一致，部分语言（如 Lua）表现出性能平台期，表明其运行时实现对字符串处理具有高效性。
• 数据表示方式（位串与向量）对性能有可测量的影响，但随着规模增大，影响逐渐减弱；在解释型语言中，位串通常更快。