[论文解读] Training Neural Networks is ER-complete
本文证明训练神经网络是 ∃R-完全的，这意味着其难度等价于判断实变量多项式方程与不等式组的可解性。这表明若 ∃R ≠ NP，则训练问题比 NP-完全问题更难，从而解释了为何标准的 NP 求解技术（如 SAT 或 IP 求解器）在此任务中会失效。
Given a neural network, training data, and a threshold, it was known that it is NP-hard to find weights for the neural network such that the total error is below the threshold. We determine the algorithmic complexity of this fundamental problem precisely, by showing that it is ∃R-complete. This means that the problem is equivalent, up to polynomial-time reductions, to deciding whether a system of polynomial equations and inequalities with integer coefficients and real unknowns has a solution. If, as widely expected, ∃R is strictly larger than NP, our work implies that the problem of training neural networks is not even in NP. Neural networks are usually trained using some variation of backpropagation. The result of this paper offers an explanation why techniques commonly used to solve big instances of NP-complete problems seem not to be of use for this task. Examples of such techniques are SAT solvers, IP solvers, local search, dynamic programming, to name a few general ones.
研究动机与目标
- 确定训练神经网络的精确算法复杂度。
- 弥合已知的 NP-难性与训练问题真实复杂度之间的差距。
- 证明训练神经网络在多项式时间归约下等价于求解实未知数的多项式方程与不等式组。
- 解释为何求解 NP-完全问题的常用技术在神经网络训练背景下会失效。
提出的方法
- 将神经网络训练问题归约为存在性实理论（∃R）。
- 构建从任意 ∃R 问题到神经网络训练实例的多项式时间单射归约。
- 展示任意具有整数系数和实变量的多项式方程与不等式组系统均可编码为神经网络训练问题。
- 利用实值权重和激活函数在神经网络结构中建模多项式约束。
- 形式化证明：求解神经网络训练问题足以解决任意 ∃R 问题，反之亦然。
- 利用 ∃R 的已知完备性结果，确立训练问题的确切复杂度类。
实验结果
研究问题
- RQ1给定误差阈值的神经网络训练问题是否为 ∃R-完全？
- RQ2训练问题能否与存在性实理论中的问题相互归约？
- RQ3训练的 ∃R-完全性是否意味着标准 NP 求解技术无效？
- RQ4神经网络训练与多项式方程与不等式组之间的确切关系是什么？
主要发现
- 以指定误差阈值训练神经网络是 ∃R-完全的，这意味着其难度等价于判断实数上多项式方程与不等式组的可解性。
- 除非 ∃R = NP，否则该问题比 NP 更难，而这一假设被广泛认为是错误的。
- 该复杂度类解释了为何标准 NP 求解技术（如 SAT 求解器、IP 求解器和局部搜索）在求解大规模训练问题时会失效。
- 该结果意味着，除非 ∃R ⊆ NP，否则神经网络训练无法在多项式时间内求解，而这一情况被认为极不可能。
- 归约表明，任何 ∃R 问题的实例均可在多项式时间开销内编码为神经网络训练问题。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。