[论文解读] Pixel Arrays: A fast and elementary method for solving nonlinear systems

David I. Spivak, Magdalen R. C. Dobson+2 more|arXiv (Cornell University)|Aug 31, 2016

Advanced Optimization Algorithms Research参考文献 6被引用 5

一句话总结

本文提出像素阵列（PA）方法，一种快速、非迭代算法，通过将关系视为像素化的布尔矩阵，并利用广义数组乘法组合这些矩阵，从而在边界框内近似求解非线性方程组的所有解。该方法显著快于牛顿类求解器——在一项基准测试中快了超过7,200倍——同时避免了漏报，并能处理不可微或不连续的函数。

ABSTRACT

We present a new method, called the pixel array method, for approximating all solutions in a bounding box for an arbitrary nonlinear system of relations. In contrast with other solvers, our approach requires that the user must specify which variables are to be exposed, and which are to be left latent. The entire solution set is then obtained---in terms of these exposed variables---by performing a series of array multiplications on the $n_i$-dimensional plots of the individual relations $R_i$. This procedure introduces no false negatives and is much faster than Newton-based solvers. The key is the unexposed variables, which Newton methods can make no use of. In fact, we found that with even a single unexposed variable our method was more than 10x faster than Julia's NLsolve. Due to its relative simplicity, the pixel array method is also applicable to a broader class of systems than Newton-based solvers are. The purpose of this article is to give an account of this new method.

研究动机与目标

• 开发一种快速、基础的算法，用于计算指定边界框内非线性方程组的完整解集。
• 解决迭代求解器依赖初始猜测、常遗漏解或在非光滑函数上失效的局限性。
• 实现仅基于用户指定的“暴露”变量的解近似，同时将其他变量视为潜在变量。
• 提供一种对间断和不可微函数具有鲁棒性的方法，与传统牛顿类方法形成对比。
• 证明未暴露变量可显著加速计算，从而在性能上优于现有求解器。

提出的方法

• 将每个非线性关系表示为多维布尔像素阵列，其中每个像素表示在给定容差下某一点是否满足该关系。
• 使用广义数组乘法（广义化矩阵乘法、迹运算和克罗内克积）组合多个关系，以暴露变量为基准计算解集。
• 利用数组乘法的结合律和单调性，确保无漏报，并通过最优操作聚类实现高效计算。
• 在乘法过程中保持初始像素图的误差界，确保解的精度得以维持。
• 使用高效的数组运算在Julia中实现该方法，使其在稀疏或具有结构关系的系统上表现出高性能。
• 允许用户指定哪些变量为暴露变量（输出中报告），哪些为潜在变量（内部使用但不恢复），从而实现计算速度优化。

实验结果

研究问题

• RQ1 基于数组乘法的非迭代、基础方法是否能在求解非线性方程组的所有解方面超越NLsolve等迭代求解器？
• RQ2 未暴露（潜在）变量的存在如何影响求解非线性方程组的计算速度？
• RQ3 像素阵列方法在牛顿类方法失效的不可微或不连续函数上，能多大程度上保持有效性？
• RQ4 数组乘法能否在保留初始像素图误差界的同时，仍提供准确的解近似？
• RQ5 在无闭式解的系统上，像素阵列方法与符号求解器（如Mathematica的Solve和NSolve）相比性能如何？

主要发现

• 对于一个使NLsolve在三小时后仍未终止的系统，像素阵列方法在1.5秒内完成解集计算，速度提升超过7,200倍。
• 即使仅有一个未暴露变量，PA方法在基准系统上的速度也比Julia的NLsolve快逾10倍。
• 该方法成功求解了Mathematica的NSolve无法处理的系统，后者返回错误信息：'此系统无法使用NSolve可用的方法求解'。
• 由于数组乘法的单调性，该方法未引入任何漏报，确保所有真实解均被保留。
• 初始像素图的误差界在数组乘法过程中得以保持，如定理4.1所证明。
• 该方法对不可微和不连续函数具有鲁棒性，而牛顿类求解器则要求函数光滑且可微。