[论文解读] Predify: Augmenting deep neural networks with brain-inspired predictive coding dynamics

Bhavin Choksi, Milad Mozafari+4 more|arXiv (Cornell University)|Jun 4, 2021

Adversarial Robustness in Machine Learning参考文献 91被引用 25

一句话总结

本文在预训练的前馈 CNN 主干中加入脑启发的预测编码动态，以通过对反馈权重进行无监督训练并借助开源的 PyTorch 包 Predify 提高对噪声和对抗攻击的鲁棒性。

ABSTRACT

Deep neural networks excel at image classification, but their performance is far less robust to input perturbations than human perception. In this work we explore whether this shortcoming may be partly addressed by incorporating brain-inspired recurrent dynamics in deep convolutional networks. We take inspiration from a popular framework in neuroscience: 'predictive coding'. At each layer of the hierarchical model, generative feedback 'predicts' (i.e., reconstructs) the pattern of activity in the previous layer. The reconstruction errors are used to iteratively update the network's representations across timesteps, and to optimize the network's feedback weights over the natural image dataset-a form of unsupervised training. We show that implementing this strategy into two popular networks, VGG16 and EfficientNetB0, improves their robustness against various corruptions and adversarial attacks. We hypothesize that other feedforward networks could similarly benefit from the proposed framework. To promote research in this direction, we provide an open-sourced PyTorch-based package called Predify, which can be used to implement and investigate the impacts of the predictive coding dynamics in any convolutional neural network.

研究动机与目标

• 激发深度 CNN 的鲁棒性差距，并探索脑启发的反馈作为解决方案。
• 在具有独立有监督前馈和无监督反馈训练的分层网络中引入预测编码动态。
• 展示在 VGG16 和 EfficientNetB0 上对自然污染和对抗攻击的鲁棒性提升。
• 提供一个易于使用的软件工具（Predify），用于在 CNN 中实现预测编码以供进一步研究。

提出的方法

• 在具有编码器 e_n 和解码器 d_n 的分层 CNN 中实现预测编码，编码器/解码器通过前馈权 W^f 与反馈权 W^b 相连。
• 通过方程 d_n(t) 与 e_n(t+1) 更新层激活，结合前馈、反馈、记忆和误差校正项。
• 使用重构损失训练反馈权重 W^b，且在前馈权重 W^f 固定的情况下进行（一步重构目标）。
• 在初始训练后，固定权重并为所有层设定固定的超参数 beta、lambda、alpha 以控制动态。
• 提供 Predify，将任何 PyTorch CNN 转换为预测网络，配合配置文件，生成可扩展的预测代码。

实验结果

研究问题

• RQ1 引入预测编码动态是否能提升 CNN 对噪声和对抗扰动的鲁棒性？
• RQ2 预测编码迭代如何随着时间步长影响表示和重构？
• RQ3 在没有对抗性训练的情况下，反馈权重的无监督训练是否也能带来鲁棒性？
• RQ4 Predify 工具是否适用于让研究人员在各类架构中尝试脑启发的动态？

主要发现

• 相较于前馈基线，预测编码增强在高斯噪声下跨时间步提高了识别准确性。
• 随着时间步增多，重构和表示逐步趋近于干净输入和流形。
• 在对超参数进行调优后，预测编码在某些扰动下降低了 ImageNet-C 的污染误差（CE）和平均污染误差（mCE）。
• 在对抗攻击中，预测编码迭代往往在时间步上降低攻击成功率，提升鲁棒性。
• 该方法在不对反馈通路进行有监督训练的情况下实现鲁棒性提升，且由 Predify 软件包提供支持。