[论文解读] Sound and Complete Neural Network Repair with Minimality and Locality Guarantees

Feisi Fu, Wenchao Li|arXiv (Cornell University)|Oct 14, 2021

Adversarial Robustness in Machine Learning参考文献 21被引用 7

一句话总结

本文提出 REASSURE，一种针对 ReLU 网络的可靠且完备的神经网络修复方法，通过为包含错误输入的线性区域量身定制修补网络，确保在函数空间中的更改最小且局部化。该方法在修复错误输入时保证正确性，同时在所有其他输入上保持原始行为，相较于现有方法在局部性和副作用最小化方面表现更优。

ABSTRACT

We present a novel methodology for repairing neural networks that use ReLU activation functions. Unlike existing methods that rely on modifying the weights of a neural network which can induce a global change in the function space, our approach applies only a localized change in the function space while still guaranteeing the removal of the buggy behavior. By leveraging the piecewise linear nature of ReLU networks, our approach can efficiently construct a patch network tailored to the linear region where the buggy input resides, which when combined with the original network, provably corrects the behavior on the buggy input. Our method is both sound and complete -- the repaired network is guaranteed to fix the buggy input, and a patch is guaranteed to be found for any buggy input. Moreover, our approach preserves the continuous piecewise linear nature of ReLU networks, automatically generalizes the repair to all the points including other undetected buggy inputs inside the repair region, is minimal in terms of changes in the function space, and guarantees that outputs on inputs away from the repair region are unaltered. On several benchmarks, we show that our approach significantly outperforms existing methods in terms of locality and limiting negative side effects. Our code is available on GitHub: https://github.com/BU-DEPEND-Lab/REASSURE.

研究动机与目标

• 为解决现有神经网络修复方法在形式化保证方面的不足，特别是对非错误输入的正确行为保持问题。
• 开发一种修复方法，将函数空间的更改限制在包含错误输入的线性区域内，确保更改最小且局部化。
• 保证修复过程既可靠（正确修复错误输入）又完备（对任意错误输入均存在修复方案）。
• 在修复区域外的所有输入上保持原始网络的性能，避免灾难性遗忘或意外副作用。
• 实现高效、可扩展的修复，无需重训练或访问原始训练数据。

提出的方法

• 利用 ReLU 网络的连续分段线性（CPWL）特性，识别每个错误输入所在的线性区域。
• 基于 ReLU 网络的激活模式推导出线性约束，为错误输入的线性区域专门构建修补网络。
• 通过加权求和将修补网络与原始网络结合，确保在错误输入上修复输出可证明正确。
• 使用线性规划合成修补网络，确保函数空间中更改最小化，并在修复区域外的输入上保持输出不变。
• 支持点修复与区域修复，可选地采用特征空间修复以减少参数开销。
• 适用于一般 CPWL 网络（包括 CNN），通过将最大池化层表示为基于 ReLU 的线性操作实现。

实验结果

研究问题

• RQ1 是否存在一种神经网络修复方法，可在不重训练的前提下，保证对错误输入的修复既可靠又完备？
• RQ2 如何将修复过程局部化于函数空间，以最小化对非错误输入的意外副作用？
• RQ3 修复过程能否在函数空间更改最小化的同时，保持原始网络的行为？
• RQ4 修复效果在相同线性区域内的其他输入上可推广到何种程度？
• RQ5 与现有架构相比，该修复方法的参数开销如何，特别是在高维输入空间中？

主要发现

• REASSURE 保证了可靠性和完备性：每个错误输入均可被修复，且始终可构造出有效修补方案。
• 该方法通过仅修改错误输入所在线性区域内的函数空间，确保了高度的局部性，其余所有输入保持不变。
• 在 ImageNet 基准测试中，REASSURE 在验证集上实现了 82.5% 的准确率，平均 $L_{∞}$ 范数差异仅为 0.0015，优于重训练和微调方法，在准确率和副作用控制方面表现更优。
• 对于点修复，采用特征空间修复时，REASSURE 平均仅引入 50 万新参数，仅为输入空间修复参数开销的 0.1%，展现出显著的效率优势。
• 在 HCAS 基准测试中，每修复区域的平均约束数减少至 3.28（原为 125 的 3%），通过冗余约束移除显著降低了参数开销。
• 在非错误输入上的 $L_{∞}$ 和 $L_{2}$ 范数差异方面，REASSURE 优于 PRDNN 和微调方法，表明其具有更优的局部性和鲁棒性。