[论文解读] Port-Hamiltonian Approach to Neural Network Training
本文提出了一种新颖的连续时间框架，通过将网络参数建模为端口-哈密顿（port-Hamiltonian, PH）动力系统中的演化变量，利用其固有的无源性确保损失函数最小值的收敛。与标准离散优化不同，该方法将参数视为常微分方程（ODE）的解，从而实现更平滑、理论上可保证的收敛，并改善了鞍点逃逸行为。
Neural networks are discrete entities: subdivided into discrete layers and parametrized by weights which are iteratively optimized via difference equations. Recent work proposes networks with layer outputs which are no longer quantized but are solutions of an ordinary differential equation (ODE); however, these networks are still optimized via discrete methods (e.g. gradient descent). In this paper, we explore a different direction: namely, we propose a novel framework for learning in which the parameters themselves are solutions of ODEs. By viewing the optimization process as the evolution of a port-Hamiltonian system, we can ensure convergence to a minimum of the objective function. Numerical experiments have been performed to show the validity and effectiveness of the proposed methods.
研究动机与目标
- 为解决非凸深度学习中离散优化的局限性，提出一种连续的、受物理启发的训练框架。
- 通过利用端口-哈密顿系统的无源性特性，确保收敛至损失函数的最小值。
- 改善高维、非凸优化景观中的鞍点逃逸与收敛行为。
- 提供一种理论基础坚实的连续替代方法，以替代标准的离散优化方法（如SGD和Adam）。
- 探索物理系统建模在提升神经网络训练动力学与性能方面的潜力。
提出的方法
- 将网络参数建模为自治端口-哈密顿系统的状态，其中损失函数作为能量函数。
- 通过阻尼矩阵B实现耗散，利用哈密顿结构定义系统的动力学，确保能量衰减。
- 将参数动力学构造为ODE：dϑ/dt = J(ϑ)∂H/∂ϑ − B(ϑ)∂H/∂ϑ，其中H为损失函数。
- 使用软阈值激活函数（γ=10）以保持光滑性，确保与PH框架的理论一致性。
- 通过100秒内对PH ODE系统进行数值积分进行训练，采用批量训练并利用收集的轨迹数据。
- 在向量场重构和分类任务上验证该方法，将学习到的动力学与真实情况对比。
实验结果
研究问题
- RQ1端口-哈密顿动力学能否用于确保在非凸神经网络优化问题中收敛至最小值？
- RQ2与离散梯度下降相比，基于连续ODE的参数演化在收敛性和鞍点逃逸方面表现如何？
- RQ3通过PH动力学训练的神经网络能否准确重构复杂动力系统（如Duffing振子）？
- RQ4光滑激活函数对PH训练框架的理论有效性有何影响？
- RQ5PH框架是否可扩展至非平凡规模的神经网络，并在实际学习任务中保持性能？
主要发现
- 基于PH的训练方法在30秒内实现损失函数最小值的收敛，大多数参数在20秒内即稳定。
- 在参数速度出现瞬态振荡期间，损失衰减速度加快，这些振荡与系统经过鞍点有关。
- 神经网络成功重构了Duffing振子的真实向量场，重构误差在未训练的状态空间区域最高。
- 该方法在包含354个参数、两层宽度为16的网络上表现出可扩展性，表明其适用于非平凡架构。
- 与离散方法相比，该框架实现了更平滑、连续的参数演化，其内在无源性保证了收敛性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。