[论文解读] Towards Neural Network Patching: Evaluating Engagement-Layers and Patch-Architectures

Sebastian Kauschke, David Lehmann|arXiv (Cornell University)|Dec 9, 2018

Data Stream Mining Techniques参考文献 14被引用 5

一句话总结

本文提出神经网络补丁化（NN-Patching），一种通过学习补丁网络和误差估计器来修正内部特征表示中误分类问题的深度神经网络概念漂移适应方法。研究发现，采用随机初始化补丁与中深层参与层的包容式补丁训练策略性能最佳，其适应速度和恢复排名均优于迁移学习。

ABSTRACT

In this report we investigate fundamental requirements for the application of classifier patching on neural networks. Neural network patching is an approach for adapting neural network models to handle concept drift in nonstationary environments. Instead of creating or updating the existing network to accommodate concept drift, neural network patching leverages the inner layers of the network as well as its output to learn a patch that enhances the classification and corrects errors caused by the drift. It learns (i) a predictor that estimates whether the original network will misclassify an instance, and (ii) a patching network that fixes the misclassification. Neural network patching is based on the idea that the original network can still classify a majority of instances well, and that the inner feature representations encoded in the deep network aid the classifier to cope with unseen or changed inputs. In order to apply this kind of patching, we evaluate different engagement layers and patch architectures in this report, and find a set of generally applicable heuristics, which aid in parametrizing the patching procedure.

研究动机与目标

• 解决非平稳环境中重新训练深度神经网络不切实际时的概念漂移挑战。
• 探究如何有效利用内部特征表示（参与层）与补丁架构进行误差校正。
• 评估不同补丁网络训练方案（包容式、排他式、半排他式）对适应性能的优化效果。
• 从适应速度、准确率和灾难性遗忘鲁棒性角度，对比神经网络补丁化与迁移学习方法。
• 为实际应用场景中快速可靠适应提供选择参与层与补丁架构的实用启发式方法。

提出的方法

• 通过在基础网络内部激活上训练补丁网络与误差估计器，对深度神经网络实施分类器补丁化。
• 使用参与层——基础网络中的中间特征图——提取可用于补丁学习的可迁移表示。
• 实现三种训练方案：包容式（补丁与基础分类器均使用）、排他式（仅在错误区域使用补丁）与半排他式（混合方法）。
• 对基础分类器或补丁网络的错误区域进行建模，后者在大多数情况下表现更优。
• 通过使用迁移学习权重与随机初始化对比评估补丁性能，发现在大多数情况下随机初始化更优。
• 采用回放（在原始数据上重新训练）以缓解误差估计器网络中的灾难性遗忘。

实验结果

研究问题

• RQ1 深度神经网络中的哪些参与层能为有效补丁化提供最具可迁移性的特征？
• RQ2 不同的补丁架构与训练方案（包容式、排他式、半排他式）如何影响概念漂移下的适应性能？
• RQ3 与基础分类器相比，对补丁网络的错误区域进行建模是否能提升整体准确率与鲁棒性？
• RQ4 在适应速度与准确率恢复方面，神经网络补丁化的性能与迁移学习相比如何？
• RQ5 在何种条件下，基础网络权重的迁移学习优于随机初始化？

主要发现

• 包容式补丁训练因对错误区域估计故障具有更强鲁棒性，始终优于排他式与半排他式方案。
• 中深层参与层（例如，第3至5个卷积块之后）为补丁学习提供了最具可迁移性的特征，其性能取决于激活函数与网络架构。
• 在大多数情况下，补丁网络的随机初始化优于迁移学习，除非基础分类器在漂移后仍保持>50%的准确率。
• 与基础分类器相比，对补丁网络的错误区域进行建模可显著提升性能，尤其在漂移渐进发生时。
• 在全连接、卷积与残差架构中，神经网络补丁化在适应速度与恢复排名方面均优于迁移学习。
• 残差网络（ResNets）展现出天然的快速适应能力，表明其架构本质上适合概念漂移场景。