[论文解读] Reachability Is NP-Complete Even for the Simplest Neural Networks

Marco Sälzer, Martin Lange|arXiv (Cornell University)|Aug 30, 2021

Adversarial Robustness in Machine Learning参考文献 14被引用 15

一句话总结

本文证明了即使在单层网络且架构约束极简的情况下，使用ReLU和恒等激活函数的神经网络可达性问题仍是NP完全问题。该研究通过将非确定性重新定义为ReLU节点的激活状态（激活/非激活）而非输入值，纠正了先前证明中的缺陷，并表明即使在极端简化条件下（如仅一个隐藏层、单位输出维度、权重和偏置仅取±c），NP难性依然存在，证明该问题的不可解性在实际架构中具有根本上的鲁棒性。

ABSTRACT

We investigate the complexity of the reachability problem for (deep) neural networks: does it compute valid output given some valid input? It was recently claimed that the problem is NP-complete for general neural networks and conjunctive input/output specifications. We repair some flaws in the original upper and lower bound proofs. We then show that NP-hardness already holds for restricted classes of simple specifications and neural networks with just one layer, as well as neural networks with minimal requirements on the occurring parameters.

研究动机与目标

• 纠正先前关于神经网络可达性问题为NP完全问题的错误证明。
• 证明即使在最简化的神经网络中（单层、最小参数集、小输出维度），NP完全性依然成立。
• 确定可达性问题保持NP难性的最小架构与参数条件。
• 阐明NP难性的根源在于ReLU节点的数量，而非输入大小或网络深度。
• 证明实际神经网络配置已导致不可解的复杂性，从而限制了高效验证算法的可行性。

提出的方法

• 通过将ReLU节点的激活状态（激活/非激活）作为非确定性的来源，而非输入值，重新表述NP成员关系的论证。
• 通过构造专用组件（范数-组件、或A|B-组件、eq0-组件）从3SAT问题归约到神经网络可达性问题。
• 使用加权ReLU和恒等节点编码布尔逻辑：输入被缩放为±1/c或±d/c²以表示真/假，输出编码子句的满足性。
• 通过引入具有对称约束的辅助输入节点以及带有偏置c的恒等节点链，修改网络以消除零权重和零偏置。
• 通过精心设计输入约束和节点互连，确保所有权重均限制在±c范围内，且所有偏置均非零。
• 通过引理证明正确性：在有效输入赋值下，3SAT中的子句满足性与网络中输出值恰好为m·d²c⁴一一对应。

实验结果

研究问题

• RQ1 ReLU和恒等激活函数神经网络的可达性问题是否真正为NP完全问题？若是，其最简条件为何？
• RQ2 NP完全性结果是否能在仅含一个隐藏层和单位输出维度的网络中保持？
• RQ3 当所有权重和偏置被限制在小的有限集合（如{−c, c}）时，NP难性是否依然存在？
• RQ4 使可达性问题保持NP难性的最小结构或参数复杂度为何？
• RQ5 能否通过一个正确且完备的构造，修复原始从3SAT到神经网络可达性的错误归约？

主要发现

• 神经网络可达性问题的NP完全性得到严格重申，纠正了先前在输入表示和离散化方面证明中的缺陷。
• 即使仅有一个输出神经元的单层神经网络，其NP难性依然成立，证明深度并非导致不可解性的必要条件。
• 当所有权重和偏置被限制为±c（对任意正有理数c）时，问题仍保持NP难性，无需使用零权重或零偏置。
• ReLU节点的数量是决定NP难性的关键参数；ReLU节点数量有界的网络可实现多项式时间可判定性。
• 该构造确保满足的3SAT赋值与网络的有效输出之间存在一一对应关系，解决了早期使用符号函数等非一致激活函数导致的问题。
• 结果表明，寻找具有多项式时间可达性的非平凡、实际相关的神经网络类别极不可能。