[论文解读] Unifying and Merging Well-trained Deep Neural Networks for Inference Stage

Yi-Min Chou, Yi-Ming Chan+3 more|arXiv (Cornell University)|May 14, 2018

Advanced Neural Network Applications参考文献 17被引用 6

一句话总结

本文提出 NeuralMerger，一种将已充分训练的深度神经网络统一并合并为单一紧凑模型的方法，以实现在资源受限设备上的高效推理。通过编码对齐网络层并共享代表性权重码，合并后的模型保留了原始架构，减少了冗余，并支持微调以维持或提升性能，实现最高达 20× 的压缩率，且精度损失极小。

ABSTRACT

We propose a novel method to merge convolutional neural-nets for the inference stage. Given two well-trained networks that may have different architectures that handle different tasks, our method aligns the layers of the original networks and merges them into a unified model by sharing the representative codes of weights. The shared weights are further re-trained to fine-tune the performance of the merged model. The proposed method effectively produces a compact model that may run original tasks simultaneously on resource-limited devices. As it preserves the general architectures and leverages the co-used weights of well-trained networks, a substantial training overhead can be reduced to shorten the system development time. Experimental results demonstrate a satisfactory performance and validate the effectiveness of the method.

研究动机与目标

• 为解决在资源受限设备上部署多个深度神经网络的挑战，将它们合并为一个单一紧凑模型。
• 在不从头开始训练的情况下，消除独立训练网络之间的冗余滤波器和权重。
• 在保留已充分训练模型原始架构的同时，支持多个任务的联合推理。
• 通过避免昂贵的试错式架构设计和联合训练，减少系统开发时间。
• 通过权重共享和微调，实现在边缘设备上的高效多任务推理。

提出的方法

• 将不同预训练网络的对应层（如卷积层和全连接层）对齐，形成成对结构。
• 使用代表性码书对共享权重进行编码，以实现在合并网络之间的权重共享。
• 应用联合编码方案，将来自不同网络的滤波器和权重映射到一个共同的共享表示中。
• 使用知识蒸馏原理对合并模型进行微调，以恢复或提升性能。
• 采用两阶段流程：(1) 权重对齐与编码，(2) 基于端到端反向传播的微调。
• 通过扩展共享码书结构，支持超过两个模型的增量式合并。

实验结果

研究问题

• RQ1 能否在不从头开始训练的情况下，将具有不同架构的多个已充分训练的深度神经网络统一为一个紧凑模型？
• RQ2 在保持或提升性能的前提下，能否有效消除预训练网络之间的冗余？
• RQ3 合并后的模型在保持多任务精度的同时，能在多大程度上实现压缩？
• RQ4 统一后的模型能否在低端设备上同时支持多个推理任务？
• RQ5 在相同压缩约束下，合并模型的性能与单个模型相比如何？

主要发现

• 在 'LIGHT' 设置下，合并模型实现了最高达 20× 的压缩率，声音识别任务仅损失 0.25% 精度，其他任务的精度损失也可接受。
• 在 'ACCU' 设置下，合并模型实现了超过 12× 的压缩率，平均精度略有下降（0.28%），但推理速度提升了 1.8×。
• 在服装与性别分类任务的合并模型中，性别识别任务实现了 1.5× 的速度提升和 0.27% 的精度损失，同时实现了 2.8× 的压缩率。
• 当合并三个模型（服装、性别和声音）时，精度损失可忽略不计（服装损失 0.38%，性别损失 1.11%，声音损失 0.25%），证明了方法的可扩展性。
• 该方法成功利用了模型内部和模型之间的冗余，实现了在多样化网络中的高效表示。
• 即使在压缩比大于 LeNet 的模型时，合并模型仍保持了高性能，精度下降极小。