[论文解读] Peephole: Predicting Network Performance Before Training

Boyang Deng, Junjie Yan+1 more|arXiv (Cornell University)|Dec 9, 2017

Anomaly Detection Techniques and Applications参考文献 23被引用 84

一句话总结

Peephole 仅通过架构使用 Unified Layer Code 和一个 LSTM 来预测神经网络的最终性能，从而实现快速、以架构驱动的性能估计和跨数据集的可靠排名。

ABSTRACT

The quest for performant networks has been a significant force that drives the advancements of deep learning in recent years. While rewarding, improving network design has never been an easy journey. The large design space combined with the tremendous cost required for network training poses a major obstacle to this endeavor. In this work, we propose a new approach to this problem, namely, predicting the performance of a network before training, based on its architecture. Specifically, we develop a unified way to encode individual layers into vectors and bring them together to form an integrated description via LSTM. Taking advantage of the recurrent network's strong expressive power, this method can reliably predict the performances of various network architectures. Our empirical studies showed that it not only achieved accurate predictions but also produced consistent rankings across datasets -- a key desideratum in performance prediction.

研究动机与目标

• 通过在不进行训练的情况下预测性能来降低网络设计的成本和时间。
• 开发统一的层表示以统一异构架构。
• 在具有可变深度/拓扑的网络中结合层表示，使用 LSTM。
• 为架构搜索提供快速反馈，以优先考虑有前景的设计。
• 在 CIFAR-10 和 MNIST 上验证预测并评估排名一致性。

提出的方法

• Unified Layer Code 使用整数编码 (TY, KW, KH, CH) 和 Layer Embedding 将每层编码为固定维向量。
• 一个 LSTM 沿网络拓扑聚合层表示以产生结构特征。
• Epoch 信息被编码并与结构特征在一个 MLP 中结合以预测最终准确率。
• Block-based Generation 通过 Markov 驱动的块构建多样化的可行架构，以在预算内训练预测器。
• 训练目标在每个架构的最终轮次准确率的预测值和实际值之间使用平滑 L1 损失。

实验结果

研究问题

• RQ1 是否仅基于架构就能在任何训练之前准确预测网络性能？
• RQ2 如何为预测模型统一表示异构层类型？
• RQ3 是否通过 LSTM 顺序整合层信息可以捕捉跨深度/拓扑的架构模式？
• RQ4 在跨数据集的预测性能排名是否稳定并与真实性能相关？

主要发现

• Peephole 在 CIFAR-10 上的均方误差低于基线方法（MSE 0.0010；Tau 0.7696；R^2 0.8596）。
• Peephole 展现出强大的排序相关性，在 CIFAR-10 上多项指标优于贝叶斯神经网络和 ν-SVR。
• 在 MNIST 上，Peephole 也在所报告的指标上优于基线，表明对不同数据集具有鲁棒性。
• 从 LSTM 学习得到的结构特征反映了架构模式，如卷积层的增强响应，支持表示的意义性。