[论文解读] Non-Differentiable Supervised Learning with Evolution Strategies and Hybrid Methods

Karel Lenc, Erich Elsen+2 more|arXiv (Cornell University)|Jun 7, 2019

Music and Audio Processing参考文献 43被引用 6

一句话总结

本文提出一种混合训练方法，结合基于梯度的优化（用于可微分权重）与进化策略（ES）（用于学习不可微的稀疏掩码），以训练深度神经网络。通过在多个设备上并行化ES，该方法在极低训练开销下实现了与标准SGD相当的性能，从而实现了从零开始的端到端稀疏模型训练，无需进行密集模型的预训练阶段。

ABSTRACT

In this work we show that Evolution Strategies (ES) are a viable method for learning non-differentiable parameters of large supervised models. ES are black-box optimization algorithms that estimate distributions of model parameters; however they have only been used for relatively small problems so far. We show that it is possible to scale ES to more complex tasks and models with millions of parameters. While using ES for differentiable parameters is computationally impractical (although possible), we show that a hybrid approach is practically feasible in the case where the model has both differentiable and non-differentiable parameters. In this approach we use standard gradient-based methods for learning differentiable weights, while using ES for learning non-differentiable parameters - in our case sparsity masks of the weights. This proposed method is surprisingly competitive, and when parallelized over multiple devices has only negligible training time overhead compared to training with gradient descent. Additionally, this method allows to train sparse models from the first training step, so they can be much larger than when using methods that require training dense models first. We present results and analysis of supervised feed-forward models (such as MNIST and CIFAR-10 classification), as well as recurrent models, such as SparseWaveRNN for text-to-speech.

研究动机与目标

• 探究将进化策略（ES）扩展至包含数百万参数的大型复杂监督模型的可行性。
• 开发一种混合训练框架，其中ES优化不可微的稀疏掩码，而SGD并行训练可微分权重。
• 实现稀疏神经网络从第一个训练步骤开始的训练，避免预训练密集模型带来的内存和计算负担。
• 评估基于ES的稀疏性学习在前馈和循环架构上的性能与效率，包括图像分类和文本到语音生成任务。

提出的方法

• 引入半更新执行模型，以在CIFAR-10上对大型ConvNets应用ES时提升计算效率。
• 使用连续ES变体（C-ES）优化二值稀疏掩码的分布，通过重参数化将它们建模为可微分参数。
• 在多个GPU上并行执行推理，同时使用Adam训练网络权重，使用ES训练稀疏掩码。
• 应用分块稀疏性约束以减少ES参数数量，提升训练效率，尤其适用于循环模型。
• 为每个参数张量使用独立的掩码分布，以提升执行速度并实现细粒度稀疏性控制。
• 利用ES的黑箱特性优化不可微因素（如稀疏模式和执行速度），而无需计算梯度。

实验结果

研究问题

• RQ1 进化策略能否有效扩展至训练大型不可微的监督模型（如CIFAR-10上的ConvNets）？
• RQ2 在混合训练设置中，ES在训练稀疏掩码时与标准SGD相比表现如何？
• RQ3 能否使用ES进行掩码优化，从零开始训练稀疏模型，从而避免对密集模型进行预训练？
• RQ4 当在多个设备上并行化时，使用ES进行稀疏掩码学习的计算开销是多少？
• RQ5 分块稀疏性约束如何影响循环模型中基于ES训练的性能与效率？

主要发现

• 在CIFAR-10上，所提出的基于ES的方法在使用半更新模型时，测试准确率达到了90.56%至91.77%，接近但未超越SGD的性能。
• 对于SparseWaveRNN模型，C-ES在97%稀疏度和16的分块宽度下，测试NLL达到5.56（WR1792），与剪枝基线相当或略优。
• C-ES的计算开销约等于生成大小，且在8张GPU上，推理速度与剪枝方法相当（例如，WR1792在分块宽度16时为0.45 FPS）。
• FixMask（固定掩码分布）在高初始稀疏度（如90%）时无法泛化，而C-ES在所有初始稀疏度水平下均保持稳定性能。
• C-ES实现了从零开始训练稀疏模型，消除了对密集预训练的需求，这对无法装入内存的大型模型尤其有益。
• 该方法表明，当与基于梯度的训练结合时，ES可作为优化不可微组件（如稀疏模式）的实用替代方案。