[论文解读] Supervised Learning with Quantum-Inspired Tensor Networks

E. Miles Stoudenmire, David J. Schwab|arXiv (Cornell University)|May 18, 2016

Computational Physics and Python Applications参考文献 40被引用 102

一句话总结

本文使用 matrix product state (tensor train) 表示来参数化监督学习的分类器，在 MNIST 的测试误差低于 1% 的同时，提供一种物理学启发的正则化视角。

ABSTRACT

Tensor networks are efficient representations of high-dimensional tensors which have been very successful for physics and mathematics applications. We demonstrate how algorithms for optimizing such networks can be adapted to supervised learning tasks by using matrix product states (tensor trains) to parameterize models for classifying images. For the MNIST data set we obtain less than 1% test set classification error. We discuss how the tensor network form imparts additional structure to the learned model and suggest a possible generative interpretation.

研究动机与目标

• 引入使用 matrix product state (MPS) 分解来参数化分类器的张量网络方法以用于监督学习。
• 通过局部特征映射将输入数据映射，并将权重张量表示为一个 MPS 以实现可扩展的优化。
• 在 MNIST 上展示实际性能并分析张量网络形式如何对学习进行正则化以及揭示结构。
• 在特征选择和潜在生成视角方面对学习得到的模型提供解释。

提出的方法

• 用局部特征映射对输入进行映射，将高维张量 Phi(x) 在 N 个分量上表示为一个乘积态（秩-1）。
• 将所有标签的权重张量 W 表示为一个 matrix product state (MPS)，其结合维度为 m，以控制容量和正则化。
• 使用受 DMRG 启发的扫掠算法优化 MPS 权重，一次更新两个相邻张量，并使用梯度样更新和基于 SVD 的重新正交化。
• 通过 SVD 自适应截断结合维度，以在保持近似最优性的同时保持 MPS 的紧凑性。
• 使训练和评估成本线性于输入空间大小，成本随 d^3 m^3 N N_L N_T 增长。
• 讨论一个一对所有的设定，其中 f^ℓ(x) = W^ℓ · Phi(x) 并通过取 |f^ℓ(x)| 的最大值的标签进行分类。

实验结果

研究问题

• RQ1 一个张量网络参数化（特别是 MPS）是否能够高效表示并优化用于监督分类任务的权重张量？
• RQ2 MPS 结构如何影响训练效率、泛化性，以及捕捉图像数据中的相关性的能力？
• RQ3 在 MNIST 上使用不同结合维度 m 的 MPS 基分类器能实现的性能提升有哪些？
• RQ4 MPS 形式在特征选择和潜在生成视角方面的解释含义是什么？

主要发现

• 在 MNIST（将 28x28 调整为 14x14）上，结合维度 m = 120 经三次遍扫后，MPS 分类器达到 0.97% 的测试误差。
• 较低的结合维度会产生更高的误差，例如 m = 10 约为 5%，m = 20 约为 2% 的测试误差。
• 训练和评估成本随输入规模线性缩放，该方法通过在较大奇异值附近截断实现自适应压缩。
• 该方法将局部特征映射和 MPS 结构结合起来，对学习进行正则化，超越特征映射的选择，提供潜在的生成解释。
• 该框架支持内部张量的并行优化，并通过 MPS 的 U/V 正交分解提供对学习特征的结构性视图。