[论文解读] Verification of Binarized Neural Networks via Inter-Neuron Factoring

Chih‐Hong Cheng, Georg Nührenberg+2 more|arXiv (Cornell University)|Oct 9, 2017

Adversarial Robustness in Machine Learning参考文献 15被引用 5

一句话总结

本文通过利用层内神经元间计算因子分解，提出了一种用于二值化神经网络（BNNs）的形式化验证框架，以提升可扩展性。通过将BNN验证问题转化为SAT求解，并在同层神经元之间优化计算共享，该方法实现了对含数千个神经元的BNN的验证，相比直接编码方法展现出显著的可扩展性提升。

ABSTRACT

We study the problem of formal verification of Binarized Neural Networks (BNN), which have recently been proposed as a energy-efficient alternative to traditional learning networks. The verification of BNNs, using the reduction to hardware verification, can be even more scalable by factoring computations among neurons within the same layer. By proving the NP-hardness of finding optimal factoring as well as the hardness of PTAS approximability, we design polynomial-time search heuristics to generate factoring solutions. The overall framework allows applying verification techniques to moderately-sized BNNs for embedded devices with thousands of neurons and inputs.

研究动机与目标

• 为解决在安全关键型嵌入式应用中验证二值化神经网络（BNNs）的可扩展性挑战。
• 开发一种可扩展至具有数千个输入和隐藏节点的BNN验证框架，这类BNN在实际嵌入式系统中十分常见。
• 利用BNN的二值特性，对同层神经元间共享的计算进行因子分解，以提升验证效率。
• 形式化证明最优因子分解的NP难性以及PTAS近似的不可逼近性，从而指导高效启发式算法的设计。
• 为BNN提供形式化正确性保证，支持安全认证及对抗性样本生成。

提出的方法

• 将BNN及其规格转换为组合型比对电路（combinational miter），然后使用ABC等逻辑综合工具编码为命题SAT问题。
• 通过识别并共享同层内神经元之间的共同计算模式，引入层间神经元因子分解，利用BNN的二值权重和激活值特性。
• 基于理论上的计算复杂性结果（NP难性和PTAS近似不可逼近性），设计多项式时间的因子分解搜索启发式算法。
• 采用位级算术运算和双极表示法（±1），以高效编码BNN计算为布尔电路。
• 利用SAT求解器验证BNN是否对所有可能输入均满足其规格。
• 通过从失败的验证尝试中提取反例，支持对抗性样本的生成。

实验结果

研究问题

• RQ1 层间神经元因子分解能否显著提升BNN形式化验证的可扩展性？
• RQ2 在BNN中寻找最优因子分解配置的计算复杂度如何？
• RQ3 针对大规模BNN，多项式时间因子分解启发式算法能否实现实际的验证性能？
• RQ4 与现有针对浮点数神经网络的验证技术相比，该方法表现如何？
• RQ5 该验证框架能否扩展以支持BNN的合成与增量更新？

主要发现

• 在BNN中寻找最优层间神经元因子分解配置的问题是NP难的，且其PTAS近似也难以实现，这为采用启发式方法提供了理论依据。
• 所提出的多项式时间因子分解启发式算法使得对含数千个输入和神经元的BNN实现验证成为可能，而直接编码方法则无法实现。
• 通过同层神经元间计算共享，该框架显著减小了SAT问题的规模，从而实现可扩展性。
• 该方法支持对嵌入式系统中BNN的形式化验证，为安全关键型应用提供正确性保证。
• 从验证失败中提取的反例可用于生成对抗性输入，以支持调试与再训练。
• 该方法与现有单神经元编码工作具有互补性，其重点在于跨神经元的优化。