[论文解读] The Hintons in your Neural Network: a Quantum Field Theory View of Deep Learning

Roberto Bondesan, Max Welling|arXiv (Cornell University)|Mar 8, 2021

Neural Networks and Reservoir Computing被引用 7

一句话总结

本文提出了一种用于深度学习的量子场论框架，将输入信号建模为量子高斯态以编码不确定性。该框架将线性和非线性神经网络层表述为这些态上的幺正操作，识别出基本激发为‘Hintons’——一种新型量子粒子，并为在光学量子硬件上实现量子形变神经网络提供了蓝图，同时具备可经典模拟的半经典极限。

ABSTRACT

In this work we develop a quantum field theory formalism for deep learning, where input signals are encoded in Gaussian states, a generalization of Gaussian processes which encode the agent's uncertainty about the input signal. We show how to represent linear and non-linear layers as unitary quantum gates, and interpret the fundamental excitations of the quantum model as particles, dubbed ``Hintons''. On top of opening a new perspective and techniques for studying neural networks, the quantum formulation is well suited for optical quantum computing, and provides quantum deformations of neural networks that can be run efficiently on those devices. Finally, we discuss a semi-classical limit of the quantum deformed models which is amenable to classical simulation.

研究动机与目标

• 开发一种用于深度学习的量子场论形式化方法，自然地将输入信号的不确定性纳入其中。
• 将经典神经网络组件——尤其是非线性性——映射为高斯态上的幺正量子操作。
• 实现在光学量子计算机上高效实现量子形变神经网络的方法。
• 识别出一类新的量子粒子——‘Hintons’——作为量子场模型中的基本激发。
• 提供该量子模型的半经典近似，使其仍可进行经典模拟。

提出的方法

• 将输入信号表示为连续场的有限样本，使用量子光学高斯态建模，该模型推广了高斯过程。
• 利用贝叶斯推断，从观测数据点计算量子高斯过程的后验分布。
• 通过高斯态上的压缩和位移操作，将线性层实现为幺正变换。
• 通过非线性哈密顿量的截断泰勒展开，构建经典非线性性的量子对应物（如软阈值函数）。
• 通过含场算符立方及更高阶项的哈密顿量的量子模拟，实现非线性操作。
• 利用分束器、移相器以及通用门分解，将完整架构映射到光学量子硬件上，用于态制备和幺正演化。

实验结果

研究问题

• RQ1 如何系统地在量子场论框架下构建深度神经网络，以纳入输入不确定性的建模？
• RQ2 经典神经网络层（尤其是非线性性）在量子场论中的对应物是什么？
• RQ3 能否通过高斯态上的幺正变换，在光学量子硬件上高效实现神经网络操作？
• RQ4 所得到的量子场模型的基本激发（量子）是什么？它们与神经网络组件有何关联？
• RQ5 如何对量子形变神经网络进行近似，使其仍可经典模拟，同时保持关键结构特征？

主要发现

• 该量子场模型引入了一种新的基本激发，命名为‘Hinton’，对应于神经网络架构中该场的基本量子。
• 该模型中的线性层通过高斯态上的位移和压缩变换实现为幺正操作，保持了量子态的结构。
• 如软阈值函数等非线性性，通过非线性哈密顿量的截断泰勒展开实现，从而在量子域中实现幺正演化。
• 该模型识别出一个半经典极限，允许经典模拟，尽管不提供相对于经典模型的性能优势，但为验证提供了测试平台。
• 完整量子模型需要光学量子硬件实现，可通过标准光学组件（如分束器和移相器）实现，态制备复杂度与经典高斯过程推断相当，为 O(N³)。
• 该框架在深度学习与量子场论之间建立了直接对应关系，为量子神经网络提供了新的理论基础，并为特定推理任务中实现量子优势提供了路径。