[论文解读] Training of Physical Neural Networks

Ali Momeni, Babak Rahmani+26 more|arXiv (Cornell University)|Jun 5, 2024

Neural Networks and Applications被引用 4

一句话总结

本文全面综述了物理神经网络（PNN）的训练方法，该类网络利用光学、电子学等物理系统实现计算。文章评估了基于反向传播、无反向传播及局部学习的训练技术，突出展示了在效率、鲁棒性和硬件兼容性方面的权衡，并指出了可扩展、低功耗人工智能系统的关键挑战与未来方向。

ABSTRACT

Physical neural networks (PNNs) are a class of neural-like networks that leverage the properties of physical systems to perform computation. While PNNs are so far a niche research area with small-scale laboratory demonstrations, they are arguably one of the most underappreciated important opportunities in modern AI. Could we train AI models 1000x larger than current ones? Could we do this and also have them perform inference locally and privately on edge devices, such as smartphones or sensors? Research over the past few years has shown that the answer to all these questions is likely "yes, with enough research": PNNs could one day radically change what is possible and practical for AI systems. To do this will however require rethinking both how AI models work, and how they are trained - primarily by considering the problems through the constraints of the underlying hardware physics. To train PNNs at large scale, many methods including backpropagation-based and backpropagation-free approaches are now being explored. These methods have various trade-offs, and so far no method has been shown to scale to the same scale and performance as the backpropagation algorithm widely used in deep learning today. However, this is rapidly changing, and a diverse ecosystem of training techniques provides clues for how PNNs may one day be utilized to create both more efficient realizations of current-scale AI models, and to enable unprecedented-scale models.

研究动机与目标

• 分析并比较不同物理平台下物理神经网络（PNN）的多样化训练方法。
• 识别PNN扩展中的关键挑战，包括能效、硬件鲁棒性和训练速度。
• 评估基于反向传播与无反向传播训练技术在计算成本和硬件兼容性方面的权衡。
• 评估利用PNN固有的物理动力学实现大规模、低功耗人工智能推理的可行性。
• 通过识别当前方法在对硬件变异和噪声的鲁棒性方面的空白，为未来研究提供路线图。

提出的方法

• 将PNN的训练方法系统性地划分为基于反向传播、无反向传播和局部学习三类方法。
• 基于内存需求、实际运行收敛时间、对数字仿真需求以及对物理参数更新的支持程度，评估每种方法。
• 引入关键技术，如直接反馈对齐（DFA）、平衡传播（EP）、哈密顿回声反向传播（HEB）和散射反向传播。
• 分析物理感知反向传播和基于伴随方法的方案，以降低内存负载并提高训练效率。
• 考虑无梯度优化方法，如同时扰动随机近似（SPSA）和基于种群的算法（如遗传算法）。
• 强调物理梯度计算的重要性，以及在无损系统中利用时间反演对称性以实现高效训练。

实验结果

研究问题

• RQ1 在物理神经网络中，基于反向传播与无反向传播的训练方法之间存在哪些关键权衡？
• RQ2 如何通过利用PNN硬件的固有物理动力学来提升训练效率？
• RQ3 在不依赖数字仿真的情况下，PNN训练在多大程度上可以对硬件变异、噪声和参数漂移保持鲁棒性？
• RQ4 大规模PNN训练的最小数字计算需求是什么？如何进一步降低？
• RQ5 是否可以使用仅依赖局部信息的局部学习规则对物理系统进行训练，从而实现去中心化与可扩展训练？

主要发现

• 目前尚无任何PNN训练方法能同时满足三个关键标准：低训练成本、充分挖掘PNN硬件表达能力，以及对硬件变异的鲁棒性。
• 基于反向传播的方法，如软件内BP和物理感知BP，需要数字仿真，且收敛时间与传统深度学习相当，限制了其效率。
• DFA和散射反向传播等方法可减少数字计算需求，实现在无需完整反向传播下的训练，尽管收敛速度较慢。
• 伴随方法和哈密顿回声反向传播（HEB）可实现O(1)内存需求和O(1)收敛时间，使其在特定物理系统中极为高效。
• 平衡传播（EP）和HEB在具有时间反演对称性的无损系统中表现优异，可实现低功耗训练并最小化数字计算开销。
• 无梯度方法如SPSA和进化策略需要O(N·T₀)时间与O(N)次测量，若无优化则在大规模模型中不切实际。