[论文解读] Theoretical Guarantees for Permutation-Equivariant Quantum Neural Networks

Louis Schatzki, Martín Larocca+3 more|arXiv (Cornell University)|Oct 18, 2022

Machine Learning in Materials Science参考文献 151被引用 18

一句话总结

该论文提出了一种排列等变的量子神经网络（Sₙ-EQNN），通过编码数据的对称群Sₙ对称性，确保在量子比特排列下保持不变。理论上，Sₙ-EQNN可避免 barren plateaus 问题，通过多项式深度电路实现过参数化，并能从少量训练样本中实现良好泛化，数值模拟结果表明其在图态分类任务中表现强劲。

ABSTRACT

Despite the great promise of quantum machine learning models, there are several challenges one must overcome before unlocking their full potential. For instance, models based on quantum neural networks (QNNs) can suffer from excessive local minima and barren plateaus in their training landscapes. Recently, the nascent field of geometric quantum machine learning (GQML) has emerged as a potential solution to some of those issues. The key insight of GQML is that one should design architectures, such as equivariant QNNs, encoding the symmetries of the problem at hand. Here, we focus on problems with permutation symmetry (i.e., the group of symmetry $S_n$), and show how to build $S_n$-equivariant QNNs. We provide an analytical study of their performance, proving that they do not suffer from barren plateaus, quickly reach overparametrization, and generalize well from small amounts of data. To verify our results, we perform numerical simulations for a graph state classification task. Our work provides the first theoretical guarantees for equivariant QNNs, thus indicating the extreme power and potential of GQML.

研究动机与目标

• 通过在架构设计中引入对称性，解决量子神经网络（QNN）中的可训练性问题，如 barren plateaus 和局部极小值。
• 构建一个系统化的框架，用于构造尊重输入数据排列对称性的 Sₙ-等变 QNN。
• 在现实数据条件下，为 Sₙ-EQNN 提供关于泛化和优化性能的理论保证。
• 通过图态分类任务的数值模拟验证理论结论。
• 识别在不同数据编码和电路结构下，Sₙ-EQNN 保持可训练或变得不可训练的条件。

提出的方法

• 利用对称群 Sₙ 的同构分解构造 Sₙ-等变 QNN，确保酉层在排列操作下一致变换。
• 借助表示理论将希尔伯特空间分解为 Sₙ 的不可约表示（irreps），限制 QNN 仅在这些不变子空间内作用。
• 应用酉 ɛ-覆盖网概念以界定参数空间的复杂度，使用不可约表示的总维数（Teₙ₊₁）作为模型容量的度量。
• 基于覆盖数使用链式论证推导出泛化误差界，其规模与覆盖数的对数成正比，并将其专门化至 Sₙ-EQNN。
• 设计数值实验，采用图态编码（3-正则、n/2-正则、Erdős–Rényi）、固定汉明权重态以及哈尓随机态，测试可训练性和性能表现。
• 比较不同数据编码和电路深度下的泛化与优化行为，以识别成功与失败的区域。

实验结果

研究问题

• RQ1 Sₙ-等变 QNN 是否能避免通用 QNN 中常见的 barren plateaus 问题？
• RQ2 Sₙ-EQNN 实现过参数化所需的电路深度是多少？其随系统尺寸的增长是否为多项式关系？
• RQ3 Sₙ-EQNN 达到良好泛化性能需要多少训练样本？
• RQ4 哪些数据编码方式（如对称态、哈尓随机态、图态）会导致 Sₙ-EQNN 可训练或不可训练？
• RQ5 关于泛化和可训练性的理论保证在实际数值模拟中在多大程度上成立？

主要发现

• Sₙ-EQNN 被证明完全避免 barren plateaus 问题，因其梯度方差不会随系统尺寸指数衰减。
• 该模型通过多项式深度电路实现过参数化，因为不可约表示的总维数 Teₙ₊₁ 随 n 多项式增长。
• 泛化误差受一个依赖于参数空间 ɛ-覆盖数对数的项所限制，该覆盖数规模为 (6/ε)²ᵀₑₙ₊₁。
• 在图态分类任务的数值模拟中，Sₙ-EQNN 即使在少量训练样本下也表现出良好泛化能力，且在某些情况下优于理论边界。
• 理论分析表明，对称态和固定汉明权重编码态是可训练的，而某些随机态或高度纠缠态可能导致不可训练性。
• 通过同构分解推导出 Sₙ-EQNN 的覆盖数边界，从而获得一个无法从 [61] 中通用结果获得的专用泛化误差边界。