[论文解读] Photonic Delay Systems as Machine Learning Implementations

Michiel Hermans, Miguel C. Soriano+3 more|arXiv (Cornell University)|Jan 12, 2015

Neural Networks and Reservoir Computing参考文献 31被引用 42

一句话总结

本文提出通过时间反向传播的梯度下降法来优化光子延迟系统中的输入编码，将其转变为高性能机器学习加速器。实验结果表明，经优化的系统显著优于标准回声状态网络，证明了传统机器学习训练技术可有效用于设计物理模拟类脑硬件。

ABSTRACT

Nonlinear photonic delay systems present interesting implementation platforms for machine learning models. They can be extremely fast, offer great degrees of parallelism and potentially consume far less power than digital processors. So far they have been successfully employed for signal processing using the Reservoir Computing paradigm. In this paper we show that their range of applicability can be greatly extended if we use gradient descent with backpropagation through time on a model of the system to optimize the input encoding of such systems. We perform physical experiments that demonstrate that the obtained input encodings work well in reality, and we show that optimized systems perform significantly better than the common Reservoir Computing approach. The results presented here demonstrate that common gradient descent techniques from machine learning may well be applicable on physical neuro-inspired analog computers.

研究动机与目标

• 将光子延迟系统的适用范围从标准回声状态网络扩展至支持基于梯度的输入信号优化。
• 证明时间反向传播可有效应用于物理模拟类脑计算系统。
• 通过真实光子硬件实验验证优化输入编码的性能提升。
• 探索利用物理系统模型训练模拟硬件的可行性，而无需在真实数据上重新训练。
• 识别未来系统重构路径，实现输入编码与内部动态的联合优化。

提出的方法

• 使用电光光子延迟系统的数学模型模拟系统动态，并通过时间反向传播计算梯度。
• 输入信号以时间调制掩码形式编码至系统输入，其参数通过梯度下降法优化，以最小化目标任务的损失。
• 训练过程利用模型计算系统输出对输入参数的雅可比矩阵，从而实现权重更新。
• 通过基于马赫-曾德尔干涉仪的实验装置（1.5 km 光纤延迟）在真实硬件中验证优化后的输入编码。
• 将该方法与标准回声状态网络进行对比，后者仅训练输出权重，以量化性能提升。
• 未来训练拟将实时测量数据直接引入反向传播循环，消除对仿真模型的依赖。

实验结果

研究问题

• RQ1 能否成功将带时间反向传播的梯度下降法应用于物理光子延迟系统的输入信号优化？
• RQ2 在真实硬件中，基于梯度优化的光子系统性能与标准回声状态网络相比如何？
• RQ3 物理系统模型的精度在多大程度上影响优化过程的有效性？
• RQ4 能否直接在训练循环中使用实时测量数据，从而消除对仿真优化的依赖？
• RQ5 如何重新设计系统架构，以实现输入信号与内部动态的联合优化？

主要发现

• 经优化的光子延迟系统性能显著优于标准回声状态网络，证明了基于梯度的输入编码的有效性。
• 物理实验确认，仿真中优化的输入编码在真实硬件中表现良好，验证了模型的预测能力。
• 通过增加每周期的掩码步数可提升系统性能，但受带宽和信号失真限制，存在实际瓶颈。
• 该方法使强大的机器学习优化技术可应用于物理模拟硬件，弥合了抽象机器学习算法与物理实现之间的鸿沟。
• 未来若能将实时测量数据直接用于训练循环，可消除对模型的依赖并加速数据采集。
• 结果表明，通过同时优化输入和内部动态，光子延迟系统可被重新构想为可训练的物理神经网络，而不仅是固定回声状态网络。