[论文解读] Statistical Models for the Analysis of Optimization Algorithms with Benchmark Functions

David Issa Mattos, Jan Bosch+1 more|arXiv (Cornell University)|Jan 1, 2021

Evolutionary Algorithms and Applications参考文献 67被引用 17

一句话总结

本文主张将贝叶斯数据分析（BDA）作为基准优化算法时优于频率学派方法的替代方案，提出了五个透明、可扩展的统计模型，以考虑基准函数的聚类结构和多重比较问题。这些模型采用具有稳健误差分布的分层线性回归，提供可解释的后验分布和最高后验密度（HPD）区间，用于效应量分析，相较于仅使用p值或置信区间，能提供更可靠且细致入微的见解。

ABSTRACT

Frequentist statistical methods, such as hypothesis testing, are standard practices in studies that provide benchmark comparisons. Unfortunately, these methods have often been misused, e.g., without testing for their statistical test assumptions or without controlling for family-wise errors in multiple group comparisons, among several other problems. Bayesian Data Analysis (BDA) addresses many of the previously mentioned shortcomings but its use is not widely spread in the analysis of empirical data in the evolutionary computing community. This paper provides three main contributions. First, we motivate the need for utilizing Bayesian data analysis and provide an overview of this topic. Second, we discuss the practical aspects of BDA to ensure that our models are valid and the results are transparent. Finally, we provide five statistical models that can be used to answer multiple research questions. The online appendix provides a step-by-step guide on how to perform the analysis of the models discussed in this paper, including the code for the statistical models, the data transformations, and the discussed tables and figures.

研究动机与目标

• 解决进化计算基准研究中广泛存在的频率学派假设检验误用问题，包括p值误读、族错误率失控以及缺乏效应量报告等问题。
• 推广贝叶斯数据分析（BDA）作为更具可解释性和鲁棒性的替代方法，支持透明建模、模型验证和收敛性检查。
• 提供五个实用且可扩展的贝叶斯统计模型，以考虑基准数据中的聚类结构（如在不同函数上的重复运行），并支持对算法间效应量和差异的推断。
• 通过包含完整在线附录（含代码、数据转换和可视化脚本）确保方法论的透明性和可复现性。
• 证明BDA能够实现比传统零假设检验更丰富的推断，例如算法差异的后验分布和HPD区间，从而支持在算法比较中做出更优决策。

提出的方法

• 采用贝叶斯分层线性模型，以考虑在不同基准函数上的重复测量，通过为每个函数设置随机截距来建模算法性能。
• 使用稳健误差分布（如学生t分布）以减少对异常值的敏感性，从而相比基于正态分布的模型提升模型的稳健性。
• 应用多层建模方法，同时纳入算法层面和函数层面的随机效应，以捕捉基准测试数据中固有的聚类结构。
• 使用马尔可夫链蒙特卡洛（MCMC）抽样估计模型参数的后验分布，从而实现对效应量和算法间差异的推断。
• 计算算法间成对差异的最高后验密度（HPD）区间，以评估实际显著性，避免基于p值的二元化解读。
• 通过引入额外预测变量（如最大预算的对数、问题难度）和高阶项，支持模型扩展，并通过敏感性分析验证结论的稳健性。

实验结果

研究问题

• RQ1 与传统频率学派方法相比，贝叶斯统计模型如何提升优化算法基准比较的可靠性与可解释性？
• RQ2 在考虑基准函数聚类和重复运行的前提下，不同优化算法之间性能差异的大小和不确定性如何？
• RQ3 贝叶斯模型如何扩展以纳入额外协变量（如问题难度或计算预算）？这些扩展对推断结果有何影响？
• RQ4 在存在异常值的情况下，具有稳健误差分布（如学生t分布）的贝叶斯模型相较于标准正态分布模型有何优势？
• RQ5 如何通过确保模型透明度、收敛性和有效性来防止贝叶斯分析中的误用，并支持实证算法评估中的可复现性？

主要发现

• 贝叶斯模型提供了效应量的后验分布以及算法间差异的HPD区间，相较于p值提供了更具信息量和可解释性的替代方案。
• 算法差异的HPD区间显示存在非零重叠，表明存在统计上和实际上有意义的差异：PSO与RandomSearch（均值差异0.13）、DiffEvolution与PSO（1.21）、DiffEvolution与RandomSearch（1.34）。
• 使用学生t分布的稳健回归显著降低了对异常值的敏感性，相比基于正态分布的模型，提升了模型拟合度和可靠性。
• 通过引入随机效应，模型成功考虑了基准函数带来的聚类效应，从而得到更准确的标准误并实现有效的推断。
• 通过引入额外预测变量（如最大预算的对数）和交互项，模型扩展是可行的，并提升了模型的灵活性和预测准确性。
• 敏感性分析表明，复杂模型的结论与简单模型保持一致，增强了对结果稳健性的信心。