[论文解读] The dilemma of quantum neural networks

Qian Yang, Xinbiao Wang+3 more|arXiv (Cornell University)|Jun 9, 2021

Quantum Computing Algorithms and Architecture参考文献 60被引用 8

一句话总结

本文通过在真实世界数据集上的系统性数值实验，研究了量子神经网络（QNNs）的泛化能力和可训练性。研究发现，当前的QNNs存在有效模型容量有限和正则化无效的问题，无法超越经典深度学习模型的表现，这对其在实际应用中的量子优势提出了挑战。

ABSTRACT

The core of quantum machine learning is to devise quantum models with good trainability and low generalization error bound than their classical counterparts to ensure better reliability and interpretability. Recent studies confirmed that quantum neural networks (QNNs) have the ability to achieve this goal on specific datasets. With this regard, it is of great importance to understand whether these advantages are still preserved on real-world tasks. Through systematic numerical experiments, we empirically observe that current QNNs fail to provide any benefit over classical learning models. Concretely, our results deliver two key messages. First, QNNs suffer from the severely limited effective model capacity, which incurs poor generalization on real-world datasets. Second, the trainability of QNNs is insensitive to regularization techniques, which sharply contrasts with the classical scenario. These empirical results force us to rethink the role of current QNNs and to design novel protocols for solving real-world problems with quantum advantages.

研究动机与目标

• 评估当前量子神经网络（QNNs）是否能在真实世界数据集上实现对经典深度学习模型的计算优势。
• 探究QNNs表现不佳的根本原因，重点关注模型容量和可训练性问题。
• 评估经典正则化技术（如权重衰减）在QNN优化中的有效性。
• 研究NISQ时代硬件中量子噪声对QNN训练性能的影响。
• 提供一个标准化的开源基准，以实现对QNNs的公平且全面的评估。

提出的方法

• 在多个真实世界数据集上，对QNNs与经典深度神经网络（DNNs）进行系统性数值实验比较。
• 使用经验风险差值衡量泛化误差：$ \left| \hat{\mathcal{R}}_S(\hat{\bm{\theta}}) - \mathcal{R}(\hat{\bm{\theta}}) \right| $，其中 $ \hat{\mathcal{R}}_S $ 为经验风险，$ \mathcal{R} $ 为期望风险。
• 应用标准正则化技术（如权重衰减），其定义为 $ \arg\min_{\bm{\theta}} \mathcal{L}(\bm{\theta}) = \frac{1}{n}\sum_{i=1}^{n}\ell(y^{(i)},\hat{y}^{(i)}) + \lambda\|\bm{\theta}\| $，以评估其对QNN优化的影响。
• 通过模拟电路执行中的量子噪声效应，评估QNN在NISQ条件下的性能表现。
• 实现基于工厂方法的软件框架，以支持可扩展的模型注册和标准化基准测试。
• 在无噪声和有噪声环境下，比较QNNs与经典MLPs的训练和推理运行时成本。

Figure 1: An overview of the classical and quantum learning models . Generalization ability: $\mathcal{H}$ is the whole hypothesis space. $\mathcal{H}_{D}$ and $\mathcal{H}_{Q}$ refer to the hypothesis space represented by QNN and DNN respectively. When the target concept is covered by $\mathcal{H}_

实验结果

研究问题

• RQ1 当前QNNs在真实世界数据集上是否比经典深度学习模型具有更好的泛化能力？
• RQ2 尽管在合成数据上具有理论优势，为何QNNs仍无法超越经典模型？
• RQ3 经典正则化技术（如权重衰减）在提升QNN可训练性方面的有效性如何？
• RQ4 NISQ设备中的量子噪声在多大程度上会降低QNN性能？
• RQ5 统计学习理论能否用于识别QNNs在真实世界学习任务中的根本局限性？

主要发现

• QNNs表现出严重受限的有效模型容量，导致在真实世界数据集上泛化能力差，这解释了其无法超越经典模型的原因。
• 正则化技术（如权重衰减）对QNN可训练性的影响微乎其微，与之在经典深度学习中的显著效果形成鲜明对比。
• NISQ设备中的量子噪声导致测试准确率下降约10%，显著降低QNN性能。
• 在NISQ硬件上训练QNN的计算成本很高，每轮迭代耗时高达126秒，而无噪声QNNs为4秒，经典MLPs仅需0.02秒。
• 使用适当小批量的SGD优化器可略微改善QNN优化，但即使有正则化，过拟合现象在40个周期后仍会显现。
• 本研究提供了一个开源基准，包含标准化的数据集、模型和评估脚本，以支持QNNs的公平且可扩展的评估。

Figure 2: The machinery of various QNNs . The schematic of QNN, depicted in the upper left, consists of a hybrid quantum-classical loop, where the quantum computer is employed to train the learnable parameters and the classical processor is utilized to perform the optimization or post-processing to