[论文解读] SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions

A. Ali Heydari, Craig A. Thompson+1 more|arXiv (Cornell University)|Dec 27, 2019

Advanced Neural Network Applications参考文献 32被引用 65

一句话总结

SoftAdapt 引入对多部分损失组件的自适应加权，使用受 softmax 启发的方案，依赖于每个损失部分最近的变化率，从而在无需手动调参的情况下改善收敛。

ABSTRACT

Adaptive loss function formulation is an active area of research and has gained a great deal of popularity in recent years, following the success of deep learning. However, existing frameworks of adaptive loss functions often suffer from slow convergence and poor choice of weights for the loss components. Traditionally, the elements of a multi-part loss function are weighted equally or their weights are determined through heuristic approaches that yield near-optimal (or sub-optimal) results. To address this problem, we propose a family of methods, called SoftAdapt, that dynamically change function weights for multi-part loss functions based on live performance statistics of the component losses. SoftAdapt is mathematically intuitive, computationally efficient and straightforward to implement. In this paper, we present the mathematical formulation and pseudocode for SoftAdapt, along with results from applying our methods to image reconstruction (Sparse Autoencoders) and synthetic data generation (Introspective Variational Autoencoders).

研究动机与目标

• 激励并解决神经网络中多个损失分量平衡的挑战。
• 提出一种通用、快速、与优化器兼容的方法，在训练过程中自适应调整损失项的权重。
• 证明自适应加权在多任务中可以优于固定或启发式选择的权重。
• 展示其在自编码器、VAE 以及梯度下降优化基准上的适用性。

提出的方法

• 将多部分损失形式化为 F(x)=sum_k f_k(x) 并定义加权梯度方向 h^i = sum_k alpha_k^i grad f_k(x^i)。
• 将分量的性能速率 s_k^i 计算为每个 f_k 的短期变化率。
• 通过在 s^i 上应用 softmax（Original）使用 SoftAdapt 变体计算权重 alpha^i。
• 用 Loss Weighted 变体增强：alpha_k^i 由当前损失 f_k^i 进行缩放。
• 可选地对速率向量进行归一化，以增强分量之间的区分度。
• 提供可与任何梯度下降优化器集成的 SoftAdapt 及其变体的伪代码。

实验结果

研究问题

• RQ1 自适应加权损失分量是否能在训练效率和结果上优于固定的等权重？
• RQ2 不同的 SoftAdapt 变体（Original、Loss Weighted、Normalized）在不同任务和损失规模下如何影响收敛？
• RQ3 SoftAdapt 是否与常见优化器和架构兼容且没有显著开销？
• RQ4 与固定启发式相比，自适应加权在自编码器和 VAE 上的性能影响如何？

主要发现

• SoftAdapt 在基准优化问题（如 Rosenbrock 和 Beale’s 函数）上可实现比固定权重更快的收敛。
• 在 IntroVAE 实验中，SoftAdapt 自适应权重相比固定权重提升了 SSIM 和 PSNR 指标，同时保持了相似的训练时间。
• 在稀疏自编码器实验中，SoftAdapt 动态调整 lambda 相对于通过网格搜索找到的固定最优 lambda 提升了重建质量和分类性能。
• 在各任务中，自适配加权方法减少了对先验超参数调优和网格搜索的需求。
• 该方法与 Adam 及其他基于梯度的优化器兼容，作为插件实现简单。