[论文解读] PyTorch Hyperparameter Tuning - A Tutorial for spotPython

Thomas Bartz–Beielstein|arXiv (Cornell University)|May 19, 2023

Computational Physics and Python Applications被引用 4

一句话总结

本教程介绍了 spotPython，一个基于 Python 的超参数调优框架，受基于 R 的 SPOT 工具箱启发，用于优化 PyTorch 深度学习模型。它展示了如何将该框架集成到 CIFAR10 图像分类工作流中，采用基于代理模型的优化方法，结果表明其性能与 Ray Tune 相当或更优，同时具备更高的透明度和灵活性。

ABSTRACT

The goal of hyperparameter tuning (or hyperparameter optimization) is to optimize the hyperparameters to improve the performance of the machine or deep learning model. spotPython (``Sequential Parameter Optimization Toolbox in Python'') is the Python version of the well-known hyperparameter tuner SPOT, which has been developed in the R programming environment for statistical analysis for over a decade. PyTorch is an optimized tensor library for deep learning using GPUs and CPUs. This document shows how to integrate the spotPython hyperparameter tuner into the PyTorch training workflow. As an example, the results of the CIFAR10 image classifier are used. In addition to an introduction to spotPython, this tutorial also includes a brief comparison with Ray Tune, a Python library for running experiments and tuning hyperparameters. This comparison is based on the PyTorch hyperparameter tuning tutorial. The advantages and disadvantages of both approaches are discussed. We show that spotPython achieves similar or even better results while being more flexible and transparent than Ray Tune.

研究动机与目标

• 通过 spotPython 实现对 PyTorch 模型的高效且可解释的超参数调优。
• 解决计算资源有限以及在超参数优化中对模型透明度的需求这一挑战。
• 提供一种实用且可复现的工作流程，将 spotPython 集成到标准的 PyTorch 训练流水线中。
• 在性能、灵活性和可解释性方面，对比 spotPython 与 Ray Tune 在超参数调优中的表现。

提出的方法

• 采用基于代理模型的优化方法，使用高斯过程（克里金模型）实现高效的超参数搜索。
• 通过模块化组件将 spotPython 集成到 PyTorch 工作流中：数据加载、预处理（prep_model）、模型定义（core_model）以及训练/评估循环。
• 在训练过程中使用交叉验证和早停策略，以提升泛化能力并减少过拟合。
• 支持 k 折交叉验证和留出验证设置，用于性能评估。
• 利用敏感性分析和适应度景观探索等统计工具，解释超参数的影响。
• 通过统计建模量化超参数及其相互作用的贡献，实现模型可解释性。

实验结果

研究问题

• RQ1 spotPython 如何被有效集成到标准的 PyTorch 训练流水线中以实现超参数调优？
• RQ2 在模型准确率和收敛速度方面，spotPython 相较于 Ray Tune 具有哪些性能优势？
• RQ3 与黑箱方法相比，spotPython 在超参数优化中提升了多少透明度和可解释性？
• RQ4 spotPython 中基于代理模型的优化方法如何应对计算资源有限和评估噪声的问题？
• RQ5 spotPython 是否能在保持更高可配置性和可审计性的前提下，实现与 Ray Tune 相当或更优的结果？

主要发现

• spotPython 在 CIFAR10 图像分类器的超参数调优中实现了与 Ray Tune 相当或更优的性能，且收敛性与稳定性更优。
• spotPython 基于代理模型的方法可在较少评估次数下高效探索超参数空间，降低计算成本。
• spotPython 通过统计分析量化单个超参数及其相互作用的影响，提供了更高的透明度和可解释性。
• spotPython 与 PyTorch 工作流的集成无缝且模块化，支持交叉验证和留出评估设置。
• 该框架支持早停和模型检查点功能，提升了训练效率并防止过拟合。
• spotPython 的开源特性确保了可复现性和可审计性，代码已在 GitHub 上公开，可供公众使用和扩展。