[论文解读] Symbolic Regression Algorithms with Built-in Linear Regression

Jan Žegklitz, Petr Pošík|arXiv (Cornell University)|Jan 13, 2017

Evolutionary Algorithms and Applications参考文献 4被引用 9

一句话总结

该论文比较了三种集成内置线性回归的符号回归算法——EFS、FFX 和 GPTIPS，以加速模型发现。在合成数据和真实世界基准测试中使用默认设置，结果表明 FFX 和 EFS 更快且更稳定，而 GPTIPS 的方差更高；所有方法均生成可解释的白箱模型，尽管传统的机器学习方法（如随机森林）通常能达到更高的准确率。

ABSTRACT

Recently, several algorithms for symbolic regression (SR) emerged which employ a form of multiple linear regression (LR) to produce generalized linear models. The use of LR allows the algorithms to create models with relatively small error right from the beginning of the search; such algorithms are thus claimed to be (sometimes by orders of magnitude) faster than SR algorithms based on vanilla genetic programming. However, a systematic comparison of these algorithms on a common set of problems is still missing. In this paper we conceptually and experimentally compare several representatives of such algorithms (GPTIPS, FFX, and EFS). They are applied as off-the-shelf, ready-to-use techniques, mostly using their default settings. The methods are compared on several synthetic and real-world SR benchmark problems. Their performance is also related to the performance of three conventional machine learning algorithms --- multiple regression, random forests and support vector regression.

研究动机与目标

• 评估并比较近期使用内置线性回归以实现更快收敛的符号回归算法。
• 评估 EFS、FFX 和 GPTIPS 作为开箱即用工具在标准化基准上的性能。
• 从准确率和可解释性角度，将符号回归结果与传统机器学习模型（LR、RF、SVR）进行比较。
• 识别这些方法在默认配置下的性能趋势与局限性。
• 为符号回归研究中的未来基准扩展和超参数调优提供基础。

提出的方法

• 本研究将 EFS、FFX 和 GPTIPS 作为开箱即用的符号回归工具，使用默认设置，避免内部修改。
• EFS 和 FFX 采用路径正则化学习来优化基函数的线性系数，从而实现快速收敛。
• GPTIPS 使用多基因遗传编程结合经典多重线性回归来计算系数，提升模型表达能力。
• 所有方法通过线性组合非线性基函数，生成广义线性模型。
• 比较涵盖五个合成基准和四个真实世界符号回归基准，其维度和噪声水平各不相同。
• 性能通过中位数误差和运行时间进行评估，并与多种回归、随机森林和支持向量回归进行对比。

实验结果

研究问题

• RQ1 在标准符号回归基准上，EFS、FFX 和 GPTIPS 在符号模型准确率和运行时间方面如何比较？
• RQ2 集成内置线性回归的符号回归方法在预测准确率方面，与传统机器学习模型相比，表现如何？
• RQ3 随机性算法（EFS、GPTIPS）与确定性算法（FFX）在性能上存在哪些差异？
• RQ4 模型复杂度和特征维度如何影响这些符号回归方法的运行时间和准确率？
• RQ5 集成内置线性回归的符号回归算法是否已足够成熟，可作为实际的开箱即用工具使用？

主要发现

• FFX 在所有符号回归方法中运行时间最快，在大多数数据集上的中位数时间低于 10 秒，且在多个基准上整体速度最快。
• EFS 在各数据集上表现出一致性能，运行时间随特征数量线性增长，从 1D 数据集的 0.33 秒增至 8D 数据集的 25.42 秒。
• GPTIPS 和 mGPTIPS 的中位数运行时间最长，大多数数据集上超过 40 秒，仅在 ENC 和 ENH 数据集上 FFX 运行更慢。
• 尽管收敛更快，FFX 和 EFS 并未在准确率上始终优于 GPTIPS，但其结果方差更低。
• 传统机器学习模型，尤其是随机森林（RF），在大多数基准上均优于所有符号回归方法的准确率。
• 符号回归与传统模型之间的准确率差距相对较小，但符号模型的关键优势在于可解释性，即作为白箱方程的形式。