[论文解读] Robustness of Neural Networks against Storage Media Errors

Minghai Qin, Chao Sun+1 more|arXiv (Cornell University)|Sep 18, 2017

Advanced Neural Network Applications参考文献 14被引用 26

一句话总结

本文研究了在禁用纠错码（ECC）的情况下，训练好的深度神经网络在非易失性内存存储中面对位错误时的鲁棒性。提出了一种基于校验位的权重清零技术，可将准确率提升数个数量级，并引入了一种基于汉明距离的二进制表示方法，随着位宽增加，其失真渐近趋近于零，显著优于标准二进制或IEEE 754表示法在位翻转情况下的表现。

ABSTRACT

We study the trade-offs between storage/bandwidth and prediction accuracy of neural networks that are stored in noisy media. Conventionally, it is assumed that all parameters (e.g., weight and biases) of a trained neural network are stored as binary arrays and are error-free. This assumption is based upon the implementation of error correction codes (ECCs) that correct potential bit flips in storage media. However, ECCs add storage overhead and cause bandwidth reduction when loading the trained parameters during the inference. We study the robustness of deep neural networks when bit errors exist but ECCs are turned off for different neural network models and datasets. It is observed that more sophisticated models and datasets are more vulnerable to errors in their trained parameters. We propose a simple detection approach that can universally improve the robustness, which in some cases can be improved by orders of magnitude. We also propose an alternative binary representation of the parameters such that the distortion brought by bit flips is reduced and even theoretically vanishing when the number of bits to represent a parameter increases.

研究动机与目标

• 分析当ECC被禁用时，深度神经网络在非易失性内存中因位错误而产生的脆弱性。
• 识别出更复杂的模型和数据集对参数位翻转更为敏感。
• 提出一种轻量级的校验位机制，可普遍提升各类模型和数据集的鲁棒性。
• 设计一种实数的二进制表示方法，以最小化位翻转引起的失真，尤其在位宽增加时效果更显著。
• 从理论和实证两方面验证：当位宽趋于无穷大时，失真可被减小至零。

提出的方法

• 提出一种基于校验位的权重清零技术：每个权重与其对应的奇偶校验位配对，用于检测并纠正单一位错误。
• 利用基于汉明距离的双射映射，将二进制数组映射为整数，优先将汉明权重较低的值映射为较小的整数。
• 定义失真度量 d_max,k(f) 和 d_ave,k(f)，用于量化在位翻转后参数表示中的最大和平均误差。
• 应用斯特林近似证明：当 q → ∞ 时，d_max,1(f) → 0，表明失真可实现渐近减少。
• 在CIFAR-10和ImageNet数据集上，使用ResNet、VGG和DenseNet模型评估在原始位错误率（RBER）下的鲁棒性。
• 在位翻转条件下，比较标准二进制展开、IEEE 754浮点数与所提出的基于汉明距离的表示方法的性能。

实验结果

研究问题

• RQ1 当ECC被禁用时，深度神经网络在非易失性内存中的位错误下，其鲁棒性如何退化？
• RQ2 是否可以设计一种通用且轻量级的校验位机制，以在多种神经网络架构和数据集中提升鲁棒性？
• RQ3 与标准表示方法相比，基于汉明距离的实数二进制表示是否能减少位翻转引起的失真？
• RQ4 当每个参数的位数增加时，失真减少的理论极限是什么？
• RQ5 在现实的位错误率下，所提出的二进制表示能在多大程度上减少准确率损失？

主要发现

• 基于校验位的权重清零技术在某些情况下可将鲁棒性提升数个数量级，显著改善位翻转条件下的准确率。
• 与VGG等简单架构相比，ResNet和DenseNet等更复杂的模型对参数位翻转更为脆弱。
• 基于汉明距离的二进制表示在位宽趋于无穷大（q → ∞）时，可使失真趋近于零，而二进制展开或IEEE 754表示则始终维持恒定的最小失真。
• 在CIFAR-10上的实证结果表明，当q=16时，基于汉明距离的表示方法虽有可测量但有限度的改进，表明需要更大的位宽才能充分发挥优势。
• 理论分析证实：当 q → ∞ 时，d_max,1(f) → 0，且收敛速率为 O(1/√q)，表明失真虽缓慢但渐近减少。