[论文解读] On $\ell_p$-hyperparameter Learning via Bilevel Nonsmooth Optimization

Takayuki Okuno, Akiko Takeda+2 more|arXiv (Cornell University)|Jun 5, 2018

Sparse and Compressive Sensing Techniques参考文献 37被引用 4

一句话总结

该论文提出了一种针对 $β_p$-正则化学习中超参数选择的首个具有理论保证的算法，通过双层非光滑优化方法实现，采用光滑化方法处理非凸、非光滑的下层问题。该方法实现了对最优性条件（SB-KKT）的收敛，并在多个数据集上展现出相较于贝叶斯优化和网格搜索在效率与可扩展性方面的优势。

ABSTRACT

We propose a bilevel optimization strategy for selecting the best hyperparameter value for the nonsmooth $\ell_p$ regularizer with $0

研究动机与目标

• 解决在 $0 < p \leq 1$ 条件下，非凸、非光滑 $β_p$-正则化学习问题中超参数选择缺乏理论算法的问题。
• 构建一个双层优化框架，其中上层问题最小化验证误差，下层问题求解一个 $β_p$-正则化学习问题。
• 为涉及非光滑、非凸 $β_p$-正则化器的双层问题建立新的必要最优性条件——SB-KKT。
• 设计一种可扩展的、基于光滑化的算法，为该双层问题提供全局收敛保证。
• 通过实验验证所提方法在超参数调优中相较于贝叶斯优化和网格搜索的优越性能。

提出的方法

• 提出一种光滑化类型算法，以处理下层问题中的非光滑 $β_p$-正则化器，从而支持基于梯度的优化。
• 引入 SB-KKT（基于光滑化的 KKT）条件，作为涉及非光滑、非凸下层目标的双层问题的新必要最优性条件。
• 使用一种改进的牛顿型方法（算法 B.2）求解光滑化后的下层子问题，无需进行线搜索。
• 采用双层优化框架，其中上层目标为验证误差，下层为目标为 $β_p$-正则化训练目标。
• 引入光滑化参数 $\mu$，通过逐步减小来逼近原始的非光滑问题。
• 推导出收敛性保证，表明在温和假设下，该算法的迭代序列会聚集于满足 SB-KKT 条件的点。

实验结果

研究问题

• RQ1 能否为 $0 < p \leq 1$ 条件下的 $β_p$-正则化学习超参数选择问题开发出一种具有理论基础的算法？
• RQ2 涉及非光滑、非凸 $β_p$-正则化器的双层问题的必要最优性条件是什么？
• RQ3 基于光滑化的方法能否为这类双层问题实现全局收敛？
• RQ4 与贝叶斯优化和网格搜索相比，所提算法在效率和精度方面表现如何？
• RQ5 该算法在具有多个超参数和大规模数据集的问题上是否具备可扩展性？

主要发现

• 在温和假设下，所提算法可收敛至满足新推导出的 SB-KKT 条件的点，首次为双层 $β_p$-超参数学习提供了理论保证。
• 在包含 13 个超参数的 CpuSmall 数据集上，该算法仅用 0.66 秒即找到验证误差为 $1.285 \times 10^5$ 的解，而贝叶斯优化需 531.8 秒才能达到更差的值。
• 在包含 273 个超参数的 Student 数据集上，该算法在 1.45 秒内实现验证误差 0.771，而贝叶斯优化耗时 26.76 秒才达到 18.324。
• 在 Facebook 数据集上（$p=1$），该算法在 17.4 秒内达到验证误差 6.474，而贝叶斯优化耗时 42.26 秒才达到 6.476。
• 该算法始终以更快的速度找到更优或相当的解，且无需昂贵的线搜索过程。
• 补充结果表明，即使在延长的时间限制下，该算法也通常比贝叶斯优化更早找到最优解。