[论文解读] Robust Processing-In-Memory Neural Networks via Noise-Aware Normalization

Li-Huang Tsai, Shih-Chieh Chang+4 more|arXiv (Cornell University)|Jul 7, 2020

Advanced Memory and Neural Computing参考文献 27被引用 10

一句话总结

本文提出噪声感知批归一化（NaBN），一种对噪声不敏感的方法，通过校准批归一化统计量来抵消处理内存（PIM）加速器中固有噪声引起的神经网络激活分布偏移。通过在推理过程中动态调整运行均值和方差估计而不需微调，NaBN在图像分类、目标检测和语义分割任务中，于多种噪声设置下均实现了稳健性能。

ABSTRACT

Analog computing hardwares, such as Processing-in-memory (PIM) accelerators, have gradually received more attention for accelerating the neural network computations. However, PIM accelerators often suffer from intrinsic noise in the physical components, making it challenging for neural network models to achieve the same performance as on the digital hardware. Previous works in mitigating intrinsic noise assumed the knowledge of the noise model, and retraining the neural networks accordingly was required. In this paper, we propose a noise-agnostic method to achieve robust neural network performance against any noise setting. Our key observation is that the degradation of performance is due to the distribution shifts in network activations, which are caused by the noise. To properly track the shifts and calibrate the biased distributions, we propose a "noise-aware" batch normalization layer, which is able to align the distributions of the activations under variational noise inherent in the analog environments. Our method is simple, easy to implement, general to various noise settings, and does not need to retrain the models. We conduct experiments on several tasks in computer vision, including classification, object detection and semantic segmentation. The results demonstrate the effectiveness of our method, achieving robust performance under a wide range of noise settings, more reliable than existing methods. We believe that our simple yet general method can facilitate the adoption of analog computing devices for neural networks.

研究动机与目标

• 解决深度神经网络在模拟处理内存（PIM）硬件上因器件固有噪声导致的性能下降问题。
• 克服以往噪声缓解方法依赖噪声特性先验知识或为每种噪声配置重新训练的局限性。
• 开发一种通用、低开销的解决方案，在无需额外训练的情况下，保持模型在不同噪声条件下的准确性。
• 通过稳定噪声模拟计算下的激活分布，实现神经网络在PIM加速器上的实际部署。

提出的方法

• 提出在批归一化层中对运行均值和方差统计量进行噪声感知校准，以纠正由模拟噪声引起的分布偏移。
• 引入推理时的动态校准机制，基于观测到的噪声特性调整批量统计量，无需模型微调。
• 利用批归一化固有的归一化能力，但通过引入噪声感知估计增强其性能，以维持准确的激活分布。
• 在标准深度学习模型（ResNet、YOLO-v3、FCN-ResNet101）上应用该方法，无需架构修改或重新训练。
• 使用Kullback-Leibler散度和Jensen-Shannon散度量化并验证干净激活与噪声激活之间分布偏移的减少。
• 将该方法实现为轻量级层修改，使其与现有模型和推理流水线兼容。

实验结果

研究问题

• RQ1 PIM硬件中的固有噪声如何导致神经网络推理性能下降？
• RQ2 能否开发一种对噪声不敏感的方法，在无需噪声先验知识或重新训练的情况下，保持模型在不同噪声水平下的鲁棒性？
• RQ3 在噪声模拟计算下，批归一化统计量的噪声感知校准在多大程度上可减少网络激活的分布偏移？
• RQ4 与噪声注入训练相比，该方法在适应未见噪声尺度方面的适应性如何？
• RQ5 该方法在分类、目标检测和语义分割等多样化计算机视觉任务中，能否在噪声PIM条件下实现泛化？

主要发现

• 所提出的噪声感知批归一化（NaBN）方法在不同噪声尺度下，显著优于标准批归一化和噪声注入训练。
• 在COCO-2014数据集上进行目标检测时，YOLO-v3配合NaBN在MUL型噪声（η₀=0.05）下达到49.8%的mAP，而基线模型仅为30.5%，实现19.3%的绝对提升。
• 在PASCAL VOC-2012数据集上进行语义分割时，FCN-ResNet101配合NaBN在MUL型噪声（η₀=0.05）下达到80.6%的mIoU，而基线模型为70.8%，实现9.8%的绝对增益。
• 该方法在多种噪声类型（MUL和ADD）及不同噪声尺度下均保持高性能，显著优于噪声注入训练方法，后者在噪声偏离训练尺度时性能急剧下降。
• NaBN可在推理时实现动态校准而无需重新训练，使其能够适应变化或未知的噪声环境。
• 该方法有效减少了干净激活与噪声激活之间的分布发散（通过KL和JS散度度量），证实其具备对偏移分布进行对齐的能力。