[论文解读] Self-learning Machines based on Hamiltonian Echo Backpropagation

Víctor López-Pastor, Florian Marquardt|Figshare|Mar 8, 2021

Neural Networks and Applications参考文献 80被引用 4

一句话总结

本文提出哈密顿回声反向传播（HEB），一种通用方法，通过利用时间反演对称性并注入微小误差信号，使时间可逆哈密顿系统中的自学习机器实现自主梯度更新。该方法实现了高效、完全物理的反向传播，无需外部反馈或数字处理，在耦合非线性波场及其他系统中展现出稳健的训练性能。

ABSTRACT

A physical self-learning machine can be defined as a nonlinear dynamical system that can be trained on data (similar to artificial neural networks), but where the update of the internal degrees of freedom that serve as learnable parameters happens autonomously. In this way, neither external processing and feedback nor knowledge of (and control of) these internal degrees of freedom is required. We introduce a general scheme for self-learning in any time-reversible Hamiltonian system. We illustrate the training of such a self-learning machine numerically for the case of coupled nonlinear wave fields.

研究动机与目标

• 开发一种通用且可物理实现的自学习机器训练方法，使其在无需外部反馈或数字处理的情况下运行。
• 通过利用内在物理动力学实现梯度下降，克服现有光学和类脑计算学习系统存在的局限性。
• 证明任何时间可逆哈密顿系统均可通过HEB实现训练，无论其具体非线性特性或系统细节如何。
• 通过将参数存储在对称哈密顿量的简并基态中，实现稳定参数学习，并对微小扰动保持鲁棒性。
• 将适用范围扩展至连续与离散学习参数，包括与热退火的类比，用于离散优化。

提出的方法

• 该方法依赖于时间反演对称性：先执行一次正向传播，随后对系统动力学进行时间反向的回声过程。
• 在回声阶段注入微小误差信号，以打破时间反演对称性，从而生成物理梯度信号。
• 由此产生的动力学自然通过物理反向传播机制更新可学习参数，模拟随机梯度下降。
• 该方法具有通用性，无需对特定非线性元件进行工程设计，也无需精确控制系统的内部参数。
• 学习参数通过哈密顿量的连续或离散对称性编码，例如参数驱动振子中的相位或振幅差异。
• 通过将参数存储在简并基态流形中增强稳定性，使微小扰动不会破坏已学习的配置。

Figure 1: Different types of physical learning machines. (a) Physical learning machine requiring feedback based on the outcome, to tune the internal "learning" parameters $\theta$ inside the physical device. (b) A self-learning machine does not involve feedback. It updates the learning parameters in

实验结果

研究问题

• RQ1 能否仅通过内在物理动力学训练自学习机器，而无需外部反馈或数字计算？
• RQ2 如何在时间可逆哈密顿系统中物理实现梯度下降？
• RQ3 时间反演对称性在实现自主参数更新中起到什么作用？
• RQ4 如何在具有固有对称性的物理系统中稳定存储学习参数？
• RQ5 该方法能否适用于连续与离散参数空间，其与热退火的关系如何？

主要发现

• 哈密顿回声反向传播使自学习机器在任何时间可逆哈密顿系统中实现自主训练，无需了解或控制内部参数。
• 通过在时间反向回声阶段注入微小误差信号，该方法实现了物理梯度下降，参数更新由系统的自然动力学诱导。
• 数值模拟在耦合非线性波场中成功实现训练，证实了该方法的可行性与高效性。
• 当学习参数编码在对称哈密顿量的简并基态中时，可实现稳定参数存储，且对微小扰动具有鲁棒性。
• 通过将学习过程解释为热退火，该方法可适配离散参数，系统会收敛至有效哈密顿量的局部极小值。
• 该方法具有通用性，不依赖于特定系统细节（如非线性特性或几何构型），可适用于包括光学和参数振子在内的多种物理平台。

Figure 2: Overview: The landscape of physical learning machines. Our work falls into the broad class of optimization approaches. It belongs to the small class of works that involve both physical backpropagation and self-learning, but in contrast to other approaches our scheme is universal, i.e. inde