[论文解读] Predicting Neural Network Accuracy from Weights

Thomas Unterthiner, Daniel Keysers+3 more|arXiv (Cornell University)|Feb 26, 2020

Adversarial Robustness in Machine Learning参考文献 33被引用 38

一句话总结

本文表明，CNN 的期望准确率可以仅从其训练权重中预测，使用简单统计和机器学习模型，并展示这一预测信号在数据集和架构之间的转移。

ABSTRACT

We show experimentally that the accuracy of a trained neural network can be predicted surprisingly well by looking only at its weights, without evaluating it on input data. We motivate this task and introduce a formal setting for it. Even when using simple statistics of the weights, the predictors are able to rank neural networks by their performance with very high accuracy (R2 score more than 0.98). Furthermore, the predictors are able to rank networks trained on different, unobserved datasets and with different architectures. We release a collection of 120k convolutional neural networks trained on four different datasets to encourage further research in this area, with the goal of understanding network training and performance better.

研究动机与目标

• 激发并形式化仅从权重预测 CNN 准确率的问题。
• 创建并发布一个包含多样超参数和数据集的大型 CNN 数据集以支持该研究。
• 证明基于权重的预测器能够以高保真度（R^2）按准确率对网络进行排序。
• 探索跨数据集和架构的预测信号转移（领域偏移）。

提出的方法

• 在预测期间不访问输入数据的前提下，将训练权重映射到期望准确率的正式设定。
• 构建 Small CNN Zoo 数据集（4 数据集，每个数据集 30k 配置）并使用固定的小型 CNN 架构。
• 训练若干预测模型（GBM、DNN、L-Linear）以将基于权重的特征映射到测试准确率，使用交叉验证进行优化。
• 探索来自权重的输入特征表示（完整展平权重、逐层统计量、权重范数）。
• 使用 R^2、MSE 和 Kendall’s tau 评估跨数据集/架构的转移中的预测性能。

实验结果

研究问题

• RQ1 仅凭训练好的权重能否在未见数据上预测 CNN 的期望准确率？
• RQ2 简单的基于权重的统计量在不同数据集和架构上（域移位）预测准确率的效果如何？
• RQ3 哪些权重派生特征最能预测准确率，且不同预测器之间的比较如何？
• RQ4 在从小型到大型（过度参数化）架构的迁移中，预测能力的转移是否成立？

主要发现

• GBM 和 DNN 预测器在所有数据集上均优于对数线性基线；使用逐层统计量 W_L 的 GBM 获得最强的性能。
• 仅使用完整展平的权重向量 W 或最后一层全连接层 W^4 即可获得强预测性能，而逐层统计量 W_L 在多种情况下往往表现最佳（例如，在某些数据集上 R^2 最高可达约 0.993）。
• 逐层统计量 W_L 提供最强、数据效率最高的预测特征，在若干情况下优于原始权重或逐层范数。
• 在一个数据集上训练的预测器可以在相当程度上对在另一个数据集上训练的网络进行排序，Kendall’s tau 值表明具有有意义的等级相关性（例如，在某些迁移中高达 0.93）。
• 预测显示出现了一些不变性（例如权重缩放和卷积层置换），尽管模型最容易受最终全连接层的置换影响。