[论文解读] Supervised learning with generalized tensor networks

Ivan Glasser, Nicola Pancotti+1 more|arXiv (Cornell University)|Jun 15, 2018

Computational Physics and Python Applications被引用 27

一句话总结

本文提出广义张量网络，允许信息复制与重用，从而在高维数据中实现高效的监督学习。所提出的架构在图像和音频分类任务上优于以往的张量网络方法，且可与神经网络集成或在近期量子计算机上实现。

ABSTRACT

Tensor networks have found a wide use in a variety of applications in physics and computer science, recently leading to both theoretical insights as well as practical algorithms in machine learning. In this work we explore the connection between tensor networks and probabilistic graphical models, and show that it motivates the definition of generalized tensor networks where information from a tensor can be copied and reused in other parts of the network. We discuss the relationship between generalized tensor network architectures used in quantum physics, such as String-Bond States and Entangled Plaquette States, and architectures commonly used in machine learning. We provide an algorithm to train these networks in a supervised learning context and show that they overcome the limitations of regular tensor networks in higher dimensions, while keeping the computation efficient. A method to combine neural networks and tensor networks as part of a common deep learning architecture is also introduced. We benchmark our algorithm for several generalized tensor network architectures on the task of classifying images and sounds, and show that they outperform previously introduced tensor network algorithms. Some of the models we consider can be realized on a quantum computer and may guide the development of near-term quantum machine learning architectures.

研究动机与目标

• 通过引入广义张量网络结构，实现信息重用，以解决标准张量网络在处理高维数据时的局限性。
• 弥合量子物理中的张量网络与机器学习架构之间的差距，统一理论与实践洞察。
• 开发一种高效的监督学习训练算法，利用广义张量网络在保持计算可处理性的同时进行优化。
• 将张量网络与深度神经网络整合为统一的深度学习框架。
• 探索在近期量子计算机上实现部分模型的可行性，以指导量子机器学习的发展。

提出的方法

• 通过允许张量信息在多个网络组件间复制与重用，定义广义张量网络，扩展标准张量网络的约束。
• 将量子物理中的架构（如弦键态和纠缠晶胞态）适配用于机器学习应用。
• 设计一种可微分的监督学习训练算法，利用基于梯度的方法优化张量网络参数。
• 提出一种混合架构，将前馈神经网络与广义张量网络结合为单一端到端可训练模型。
• 利用张量网络收缩技术高效计算预测结果，同时保持低计算成本。
• 实现一个支持经典与量子硬件部署的框架，以探索近期量子优势。

实验结果

研究问题

• RQ1 如何对张量网络进行广义化，以支持信息重用，并提升其在高维学习任务中的表达能力？
• RQ2 广义张量网络在图像和音频的监督学习基准测试中，相较于标准张量网络的性能提升程度如何？
• RQ3 能否有效将源自量子物理的张量网络架构重新用于经典机器学习任务？
• RQ4 如何在统一的深度学习框架中无缝集成张量网络与深度神经网络？
• RQ5 哪些广义张量网络模型适合在近期量子计算机上实现？

主要发现

• 广义张量网络在图像和音频分类任务上显著优于标准张量网络模型。
• 所提出的训练算法实现了广义张量网络的高效优化，同时保持了低计算复杂度。
• 某些广义张量网络架构（如纠缠晶胞态）即使在高维输入空间中也表现出强大性能。
• 结合神经网络与张量网络的混合深度学习架构在泛化能力上优于独立模型。
• 部分所提模型与近期量子硬件兼容，为量子增强型机器学习提供了实现路径。
• 复制与重用张量信息的能力在不牺牲计算效率的前提下，显著提升了模型表达能力。