[论文解读] TensorNetwork: A Library for Physics and Machine Learning

Chase Roberts, Ashley Milsted+7 more|arXiv (Cornell University)|May 3, 2019

Quantum many-body systems参考文献 25被引用 70

一句话总结

TensorNetwork 是一个基于 TensorFlow 的开源库，用于构建和收束张量网络，在物理和机器学习中具有应用。论文描述 API 设计、数据结构和用例。

ABSTRACT

TensorNetwork is an open source library for implementing tensor network algorithms. Tensor networks are sparse data structures originally designed for simulating quantum many-body physics, but are currently also applied in a number of other research areas, including machine learning. We demonstrate the use of the API with applications both physics and machine learning, with details appearing in companion papers.

研究动机与目标

• 在物理学与机器学习中推动张量网络的应用。
• 引入一个与图形张量网络表示相匹配的 API。
• 展示 TensorNetwork 如何与 TensorFlow 集成以利用 GPUs/TPUs。
• 演示常见张量网络计算的基本操作和工作流。
• 概述物理学与机器学习中的用例，并指向详述的 companion papers。

提出的方法

• 展示张量和收束的图形表示，以推动 API 的设计。
• 定义核心 API 对象：TensorNetwork、Node 和 Edge。
• 描述边的类型（standard、trace、dangling）及操作（connect、contract、flatten、contract_between）。
• 说明节点分割及带有基于 SVD 的分解的外积/内积。
• 说明内存节省技巧以及通过 max_singular_values 或 max_truncation_err 的可选截断。
• 参考与 TensorFlow 的集成以及 GPU/TPU 加速。

实验结果

研究问题

• RQ1 如何在软件库中高效表示和操作张量网络？
• RQ2 API 如何将图形张量网络概念映射到计算基元？
• RQ3 将 TensorNetwork 与 TensorFlow 集成到物理与机器学习工作负载中的实际收益是什么？
• RQ4 库内有哪些内存节省和近似策略（例如对奇异值的截断）？

主要发现

• TensorNetwork 提供一个可编程的、基于图的 API，用于创建、连接、收束和操作张量网络。
• 该库支持基本操作，如收束边、展平，以及使用 SVD 执行节点分割，并包含截断选项。
• 强调边类型和预收束优化（如边展平）以提高内存效率。
• 该 API 使在 TensorFlow 内部轻松实现常见的张量网络结构，如 MPS、TTN 和 MERA。
• 应用涵盖物理学与机器学习，配套论文详述特定的物理和 ML 用例以及在 GPUs 上的性能收益。