[论文解读] Quantum Deep Learning

Nathan Wiebe, Ashish Kapoor+1 more|arXiv (Cornell University)|Dec 10, 2014

Quantum Computing Algorithms and Architecture被引用 5

一句话总结

本文提出两种量子算法——基于量子采样的梯度估计（GEQS）和基于量子振幅估计的梯度估计（GEQAE），通过制备与吉布斯分布类似的相干量子态，高效计算深度玻尔兹曼机的梯度。该方法在计算期望值方面相比经典方法实现指数加速，从而实现无需依赖对比散度等次优近似方法的更快、更精确的受限玻尔兹曼机与全玻尔兹曼机训练。

ABSTRACT

In recent years, deep learning has had a profound impact on machine learning and artificial intelligence. At the same time, algorithms for quantum computers have been shown to efficiently solve some problems that are intractable on conventional, classical computers. We show that quantum computing not only reduces the time required to train a deep restricted Boltzmann machine, but also provides a richer and more comprehensive framework for deep learning than classical computing and leads to significant improvements in the optimization of the underlying objective function. Our quantum methods also permit efficient training of full Boltzmann machines and multi-layer, fully connected models and do not have well known classical counterparts.

研究动机与目标

• 为克服由于配分函数呈指数增长而导致的深度玻尔兹曼机中精确梯度计算的计算不可行性。
• 开发直接估计最大似然目标函数中期望值的量子算法，而无需依赖对比散度等启发式近似方法。
• 通过利用量子叠加与振幅估计，实现对全玻尔兹曼机和深度受限玻尔兹曼机（这些模型在经典计算中缺乏高效方法）的高效训练。
• 通过利用量子采样改进优化与模型质量，提供更全面、更准确的深度学习框架。

提出的方法

• 提出GEQS，一种利用量子态制备技术制备代表玻尔兹曼机吉布斯分布的相干叠加态的量子算法。
• 在GEQAE中采用量子振幅估计（QAE）以高精度估计可观测量（如$\langle v_i h_j \rangle$）的期望值，相比经典蒙特卡洛方法降低查询复杂度。
• 采用哈密顿量模拟方法根据能量函数$E(v,h)$演化量子态，实现对应于吉布斯分布的热态制备。
• 应用单量子比特旋转和受控-非门实现状态制备与测量所需的酉操作，利用量子电路的通用门集。
• 利用玻尔兹曼机能量函数的结构，将问题映射为可使用量子相位估计算法或振幅估计算法高效模拟的量子哈密顿量。
• 利用量子测量从结果量子态中采样，从中提取最大似然目标函数梯度中的期望值。

实验结果

研究问题

• RQ1 量子算法是否能在计算深度玻尔兹曼机训练所需梯度方面实现指数加速？
• RQ2 量子方法是否能避免经典近似方法（如对比散度）的局限性，后者缺乏理论保证且常导致次优解？
• RQ3 鉴于经典系统中全玻尔兹曼机因计算配分函数成本呈指数增长而不可行，是否能通过量子计算实现其高效训练？
• RQ4 在复杂、分层表示的模型中，量子增强的深度学习框架是否能在训练效率与模型质量方面超越经典方法？
• RQ5 在深度学习模型中，量子算法与经典方法在最大似然目标函数的收敛性与优化方面有何比较？

主要发现

• 所提出的量子算法在估计期望值方面相比经典蒙特卡洛方法实现二次加速，将查询复杂度从$O(1/\epsilon^2)$降低至$O(1/\epsilon)$，其中精度为$\epsilon$。
• GEQS与GEQAE可在不依赖对比散度等近似方法的情况下实现最大似然目标函数梯度的精确计算，而这些方法已知理论不成立且易导致收敛问题。
• 该方法使得全玻尔兹曼机的高效训练成为可能——此前由于计算配分函数的指数成本，经典计算机无法实现。
• 该量子框架支持全层间连接的深度受限玻尔兹曼机（dRBMs）的训练，克服了经典顺序训练方法破坏无向结构的局限性。
• 量子方法可获得更优优化的模型，其在训练数据上的似然性更高，因为精确梯度避免了经典近似方法引入的偏差。
• 这些算法在原则上具有可扩展性，因其利用量子并行性同时探索可见单元与隐藏单元配置的指数级大状态空间。