[论文解读] Unsure When to Stop? Ask Your Semantic Neighbors

Ivo Gonçalves, Sara Silva+2 more|arXiv (Cornell University)|Jun 19, 2017

Evolutionary Algorithms and Applications参考文献 10被引用 3

一句话总结

本文提出了一种语义停止准则，利用解的语义邻域来确定几何语义遗传编程（GSGP）和语义学习机器（SLM）中的最优终止点，显著提升了泛化性能，同时降低了计算成本。该方法利用语义相似性和增量评估实现早期停止，在神经网络上训练时间少于3秒，在GP树上少于10秒。

ABSTRACT

In iterative supervised learning algorithms it is common to reach a point in the search where no further induction seems to be possible with the available data. If the search is continued beyond this point, the risk of overfitting increases significantly. Following the recent developments in inductive semantic stochastic methods, this paper studies the feasibility of using information gathered from the semantic neighborhood to decide when to stop the search. Two semantic stopping criteria are proposed and experimentally assessed in Geometric Semantic Genetic Programming (GSGP) and in the Semantic Learning Machine (SLM) algorithm (the equivalent algorithm for neural networks). The experiments are performed on real-world high-dimensional regression datasets. The results show that the proposed semantic stopping criteria are able to detect stopping points that result in a competitive generalization for both GSGP and SLM. This approach also yields computationally efficient algorithms as it allows the evolution of neural networks in less than 3 seconds on average, and of GP trees in at most 10 seconds. The usage of the proposed semantic stopping criteria in conjunction with the computation of optimal mutation/learning steps also results in small trees and neural networks.

研究动机与目标

• 通过在未见数据性能下降前识别最优停止点，解决迭代式监督学习中的过拟合问题。
• 探究基于几何语义算子的语义邻域信息是否能有效指导高效停止决策。
• 评估语义停止准则在GSGP和SLM两种基于几何语义理论的算法中的可行性与性能表现。
• 评估将语义停止与最优变异/学习步长计算相结合对模型大小和泛化性能的影响。
• 展示计算效率，实现在不牺牲预测性能的前提下快速演化紧凑模型。

提出的方法

• 提出两种语义停止准则：一种基于与目标的语义相似度（基于语义相似度的停止，SSS），另一种基于语义改进速率（基于语义改进的停止，SIS）。
• 在GSGP和SLM框架中应用这些准则，利用几何语义算子保持单峰适应度景观，确保收敛至全局最优。
• 在每次变异或学习步骤中采用增量评估，高效追踪语义变化，避免完整重新评估。
• 引入最优变异和学习步长的计算，以进一步提升收敛速度和模型紧凑性。
• 使用语义空间距离度量量化解与目标的接近程度，实现对停滞或过拟合的早期检测。
• 在演化过程中动态应用停止准则，当语义进展低于阈值或与目标的相似度趋于平稳时停止过程。

实验结果

研究问题

• RQ1 语义邻域信息是否能可靠地指示在GSGP和SLM中进一步演化将导致过拟合？
• RQ2 所提出的语义停止准则是否相比标准停止启发式方法能获得更好的泛化性能？
• RQ3 将语义停止与最优步长计算相结合，能在多大程度上减少模型大小和训练时间？
• RQ4 在高维回归数据集上，这些算法的计算时间效率如何？
• RQ5 该方法是否具有跨不同类型监督学习问题（包括回归和分类）的通用性？

主要发现

• 所提出的语义停止准则在真实世界高维回归数据集上实现了具有竞争力的泛化性能，优于或匹配标准停止策略。
• 平均而言，使用SLM的神经网络演化每轮耗时少于3秒，OS EDV变体在LD50数据集上中位时间仅为0.3秒。
• 使用SSHC的GP树演化每轮最多耗时10秒，OS EDV变体在Bio数据集上中位时间为0.9秒。
• 结合语义停止与最优变异步长可显著减小模型规模：GP树的中位节点数为327（OS EDV），而非优化变体则超过10,000个节点。
• 使用FS TIE与语义停止的SLM变体在三个数据集中的两个（PPB和LD50）实现了最佳泛化性能，尽管网络规模较大。
• SLM的OS EDV变体生成了最小的神经网络，各数据集中位隐藏神经元数为4个，同时保持了强大的泛化性能。