[论文解读] Number-State Preserving Tensor Networks as Classifiers for Supervised Learning

Glen Evenbly|arXiv (Cornell University)|May 15, 2019

Computational Physics and Python Applications被引用 4

一句话总结

该论文提出了一类保持数目态的张量网络——由将输入指标上的数目态映射到输出指标上数目态的张量构成——作为高效且可解释的监督学习分类器。通过在变换过程中保持经典数据结构，并利用因果锥收缩实现高效训练，该方法使此前难以处理的网络（如MERA）在图像识别等任务中计算上变得可行，且在基准数据集上实现了优异性能，计算开销极低。

ABSTRACT

We propose a restricted class of tensor network state, built from number-state preserving tensors, for supervised learning tasks. This class of tensor network is argued to be a natural choice for classifiers as (i) they map classical data to classical data, and thus preserve the interpretability of data under tensor transformations, (ii) they can be efficiently trained to maximize their scalar product against classical data sets, and (iii) they seem to be as powerful as generic (unrestricted) tensor networks in this task. Our proposal is demonstrated using a variety of benchmark classification problems, where number-state preserving versions of commonly used networks (including MPS, TTN and MERA) are trained as effective classifiers. This work opens the path for powerful tensor network methods such as MERA, which were previously computationally intractable as classifiers, to be employed for difficult tasks such as image recognition.

研究动机与目标

• 解决在将张量网络用作经典数据分类器时的可解释性与计算不可行性问题。
• 解决通用张量网络将经典乘积态映射为纠缠量子态的问题，从而掩盖了经典可解释性。
• 通过限制为保持数目态的张量，实现对复杂张量网络（尤其是MERA）的高效训练。
• 证明此类受限张量网络在基准分类任务上的性能可与无限制网络相媲美。
• 为强大张量网络架构（如MERA）在实际机器学习应用（如图像识别）中的使用打开大门。

提出的方法

• 该方法使用一类受限的张量网络，由保持数目态的张量构成，这些张量将输入指标上的Fock数目态映射为输出指标上的数目态。
• 在与数目态收缩时利用因果锥结构，实现网络与训练数据之间标量积的高效计算。
• 训练算法通过动态规划高效评估环境，优化网络以最大化与带标签训练数据的标量积。
• 通过利用保持数目态网络的因果结构，该方法实现了单个张量环境的高效评估，这是基于梯度优化的关键步骤。
• 该方法应用于标准架构（如MPS、TTN和MERA），并调整为保持数目态，使用标准监督学习目标进行训练。
• 计算成本呈有利的缩放——例如，二维保持数目态的MERA为O(χ⁸)，而等距MERA为O(χ¹⁶)，使得更大的键维数在相同计算预算下成为可能。

实验结果

研究问题

• RQ1 保持数目态的张量网络是否能在保持可解释性的同时，实现监督学习的高效训练？
• RQ2 将张量网络限制为保持数目态的张量，是否保留了分类任务所需的足够表达能力？
• RQ3 通过此限制，能否使计算上不可行的张量网络（如MERA）成为可行的分类器？
• RQ4 保持数目态的网络在标准基准测试中的性能与无限制网络相比如何？
• RQ5 与标准等距张量网络相比，保持数目态的网络在训练中的计算缩放优势是什么？

主要发现

• 保持数目态的张量网络在变换过程中保持了经典数据结构，确保了可解释性，因为输入和输出均保持为经典数目态。
• 保持数目态网络中的因果锥结构使得与训练数据的标量积能够高效评估，从而使MERA等复杂网络的训练成为可能。
• 该方法使得MERA类网络的训练成为可能，这些网络此前在分类任务中计算上不可行。
• 基准结果表明，MPS、TTN和MERA的保持数目态版本在标准分类问题上表现强劲，性能与无限制网络相当。
• 优化保持数目态网络的计算成本在二维MERA中为O(χ⁸)，相比等距MERA的O(χ¹⁶)有平方根级别的改进，使得在相同计算预算下可实现更大的键维数。
• 该方法实现了对训练样本的环境评估并行化，缓解了大规模训练集带来的成本。