[论文解读] Why Local Search Excels in Expression Simplification

Ben Ruijl, Aske Plaat+2 more|arXiv (Cornell University)|Sep 18, 2014

Data Visualization and Analytics参考文献 7被引用 4

一句话总结

本文表明，在高能物理中的表达式简化问题中，随机局部搜索（SLS）在寻找最优霍纳方案方面优于蒙特卡洛树搜索（MCTS）。通过利用具有少量局部极小值的平坦状态空间，SLS 仅需两个参数——计算时间和邻域结构——即可实现近似最优结果，其性能至少比 MCTS 快 10 倍，并将数值积分速度提升最多 24 倍。

ABSTRACT

Simplifying expressions is important to make numerical integration of large expressions from High Energy Physics tractable. To this end, Horner's method can be used. Finding suitable Horner schemes is assumed to be hard, due to the lack of local heuristics. Recently, MCTS was reported to be able to find near optimal schemes. However, several parameters had to be fine-tuned manually. In this work, we investigate the state space properties of Horner schemes and find that the domain is relatively flat and contains only a few local minima. As a result, the Horner space is appropriate to be explored by Stochastic Local Search (SLS), which has only two parameters: the number of iterations (computation time) and the neighborhood structure. We found a suitable neighborhood structure, leaving only the allowed computation time as a parameter. We performed a range of experiments. The results obtained by SLS are similar or better than those obtained by MCTS. Furthermore, we show that SLS obtains the good results at least 10 times faster. Using SLS, we can speed up numerical integration of many real-world large expressions by at least a factor of 24. For High Energy Physics this means that numerical integrations that took weeks can now be done in hours.

研究动机与目标

• 研究霍纳方案状态空间的结构特性，以确定是否更简单的搜索算法可优于复杂且参数繁多的方法。
• 解决高能物理中多变量多项式求值的优化挑战，其中包含数百万项的表达式需要高效的数值积分。
• 用仅含最少参数的 SLS 方法替代手动调优的 MCTS，同时在真实大型表达式上保持或提升性能。
• 通过使用最优霍纳方案简化表达式，实现粒子物理中数值积分的加速，将计算时间从数周缩短至数小时。

提出的方法

• 应用随机局部搜索（SLS），采用精心设计的邻域结构，通过交换霍纳方案排序中相邻变量实现。
• 以模拟退火作为基线 SLS 变体，用于评估性能和收敛行为。
• 通过分析邻近状态间操作次数的分布以及局部极小值的数量，衡量状态空间的平坦度。
• 在包含最多 770 万个操作的真实高能物理表达式基准测试集中，将 SLS 与 MCTS 和 SA-UCT 进行对比。
• 通过仅调节两个参数——迭代次数（计算时间）和邻域结构——优化 SLS，避免对探索-利用常数进行精细调参。
• 将在下一代开源符号计算系统 FORM 中实现最终的基于 SLS 的算法。

实验结果

研究问题

• RQ1 霍纳方案的状态空间是否足够平坦，使得使用基本的随机局部搜索（SLS）而非复杂的树搜索算法即可实现有效搜索？
• RQ2 尽管 MCTS 具备平衡探索与利用的能力，SLS 是否仍能实现与 MCTS 相当或更优的性能，以找到最优霍纳方案？
• RQ3 霍纳方案状态空间中的局部极小值数量如何影响局部搜索算法的收敛性和鲁棒性？
• RQ4 与现有方法相比，SLS 在高能物理中大型表达式数值积分的计算时间减少程度如何？
• RQ5 通过最小化可调参数数量，SLS 是否可实现实际应用，同时保持高性能？

主要发现

• 霍纳方案状态空间相对平坦，邻近状态间操作次数变化极小，这支持了局部搜索的有效性。
• 该状态空间仅包含少量局部极小值，使得 SLS 能够收敛至近似最优解，而不会陷入性能较差的区域。
• 在变量数为 15 个或以上的表达式上，SLS 的性能与 MCTS 相当或更优，且收敛速度显著更快——所需样本数超过 10 倍。
• SLS 将真实表达式中的操作数减少至最多 24 倍，使数值积分速度至少提升 24 倍。
• SLS 仅需两个参数——计算时间和邻域结构——远比 MCTS 实用且易于部署，后者需调校探索常数 $C_p$。
• 基于 SLS 的算法将集成至开源符号计算系统 FORM 的下个版本中，推动其在高能物理领域的广泛应用。