[论文解读] Using Shape Constraints for Improving Symbolic Regression Models

Christian Haider, Fabrício Olivetti de França+2 more|arXiv (Cornell University)|Jul 20, 2021

Evolutionary Algorithms and Applications参考文献 35被引用 4

一句话总结

本文提出一种多目标符号回归方法，通过区间算法验证形状约束（如单调性、凸性、非负性）并将其整合到遗传编程中。采用NSGA-II与MOEA/D结合软惩罚机制处理约束违反问题，提升了模型的可信度与外推能力，尤其在高斯噪声环境下表现更优，但未发现该方法在性能上显著优于单目标方法。

ABSTRACT

We describe and analyze algorithms for shape-constrained symbolic regression, which allows the inclusion of prior knowledge about the shape of the regression function. This is relevant in many areas of engineering -- in particular whenever a data-driven model obtained from measurements must have certain properties (e.g. positivity, monotonicity or convexity/concavity). We implement shape constraints using a soft-penalty approach which uses multi-objective algorithms to minimize constraint violations and training error. We use the non-dominated sorting genetic algorithm (NSGA-II) as well as the multi-objective evolutionary algorithm based on decomposition (MOEA/D). We use a set of models from physics textbooks to test the algorithms and compare against earlier results with single-objective algorithms. The results show that all algorithms are able to find models which conform to all shape constraints. Using shape constraints helps to improve extrapolation behavior of the models.

研究动机与目标

• 通过引入领域相关的形状约束（如单调性、凸性）改进符号回归，确保模型符合物理定律。
• 探究形状约束是否能提升模型泛化能力与外推性能，特别是在噪声数据环境下。
• 评估多目标进化算法（NSGA-II、MOEA/D）与单目标方法在平衡模型精度与约束符合性方面的表现。
• 通过区间算法严格验证，评估软惩罚机制对约束违反与整体模型质量的影响。

提出的方法

• 利用一阶与二阶偏导数（如 ∂f/∂xi ≥ 0 表示非递减行为）在输入域上数学编码形状约束。
• 采用区间算法计算导数的严格边界，以保守（悲观）方式验证形状属性，确保约束可行性。
• 通过软惩罚方法将约束符号回归问题转化为多目标优化问题，同时最小化训练误差（NMSE）与约束违反惩罚。
• 使用多目标算法NSGA-II与MOEA/D演化出平衡精度与约束符合性的Pareto前沿解集。
• 从Pareto前沿中基于最佳NMSE选择最终模型，实现在不提前剔除不可行解的前提下进行权衡分析。
• 在教科书中的物理基础符号回归问题上开展实验，系统性地改变噪声水平以评估鲁棒性。

实验结果

研究问题

• RQ1 在噪声训练数据下，结合形状约束的多目标符号回归是否能提升模型可靠性与外推性能？
• RQ2 NSGA-II与MOEA/D在平衡符号回归中精度与约束满足性方面，与单目标算法相比表现如何？
• RQ3 引入形状约束是否能在样本外（外推）性能上带来统计上显著的提升？
• RQ4 约束验证方法的选择（悲观的区间算法 vs. 乐观的采样）如何影响可扩展性与解的质量？

主要发现

• 所有测试算法（包括NSGA-II、MOEA/D与单目标变体）均成功生成满足所有指定形状约束的模型。
• 在样本外性能的临界差异图中，NSGA-II在100%噪声条件下取得最佳平均排名，但与单目标方法相比未发现统计显著差异。
• 形状约束在所有问题实例中未带来一致且统计显著的性能提升，尽管某一实例中约束显著改善了外推表现。
• 通过区间算法进行约束检查的计算开销极低，导数计算为主要额外成本，且在低维问题中仍保持可管理。
• 多目标方法实现了对精度与约束违反之间权衡的探索，提供了多样化且有效的解集，而非单一最优模型。
• 该方法在符号回归任务中优于确定性的形状约束多项式回归，尽管后者需通过网格搜索进行计算昂贵的超参数调优。