[论文解读] TensorLy: Tensor Learning in Python

Jean Kossaifi, Yannis Panagakis+2 more|University of Twente Research Information|Oct 29, 2016

Tensor decomposition and applications参考文献 21被引用 210

一句话总结

TensorLy 是一个 BSD 许可的 Python 库，提供最先进的张量学习，具备灵活的后端系统，能够把计算抽象为 NumPy、MXNet、PyTorch、TensorFlow 和 CuPy，在可扩展的张量运算和深度张量化网络方面提供支持。

ABSTRACT

Tensors are higher-order extensions of matrices. While matrix methods form the cornerstone of machine learning and data analysis, tensor methods have been gaining increasing traction. However, software support for tensor operations is not on the same footing. In order to bridge this gap, we have developed \emph{TensorLy}, a high-level API for tensor methods and deep tensorized neural networks in Python. TensorLy aims to follow the same standards adopted by the main projects of the Python scientific community, and seamlessly integrates with them. Its BSD license makes it suitable for both academic and commercial applications. TensorLy's backend system allows users to perform computations with NumPy, MXNet, PyTorch, TensorFlow and CuPy. They can be scaled on multiple CPU or GPU machines. In addition, using the deep-learning frameworks as backend allows users to easily design and train deep tensorized neural networks. TensorLy is available at https://github.com/tensorly/tensorly

研究动机与目标

• 将 TensorLy 介绍为用于张量方法和深度张量化神经网络的高层 Python API。
• 提供一个后端无关的计算框架，以在 NumPy、MXNet、PyTorch、TensorFlow 和 CuPy 之间切换。
• 提供最先进的张量运算、分解和回归方法，并具备扎实的测试和文档。
• 展示与 Python 科学栈集成的性能和可扩展性优势，以及易用性。

提出的方法

• 实现张量代数运算和分解（CP、Tucker、非负变体、鲁棒张量 PCA、低秩张量回归）。
• 提供一个灵活的后端系统，在 NumPy、MXNet、PyTorch、CuPy 和 TensorFlow 上执行计算，并支持急切执行。
• 与深度学习框架集成，以实现深度张量化神经网络。
• 通过大量单元测试和文档确保代码质量（撰写时覆盖率 97%）。
• 宣传一种高效的 mode-n 张量展开策略，以提高在 CPU/GPU 上的性能。

实验结果

研究问题

• RQ1 TensorLy 是否能够提供一个全面的、开源的张量学习库，并对广泛的后端提供支持，以满足 Python 数据科学工作流？
• RQ2 TensorLy 如何在不同后端和硬件上执行张量分解和学习运算？
• RQ3 哪些设计选择使张量方法能够更容易地与深度学习框架集成？
• RQ4 相对于现有工具，在 CPU 和 GPU 上， TensorLy 的张量运算的性能比较如何？
• RQ5 TensorLy 是否可以扩展到多设备设置，同时保持对研究人员的易用性？

主要发现

• TensorLy 提供最先进的张量学习方法，包括 CP 和 Tucker 分解及其变体。
• 该库提供一个灵活的后端系统，可以使用 NumPy、MXNet、PyTorch、TensorFlow 或 CuPy 进行计算。
• TensorLy 是 BSD-许可证且开源，附带文档和大量单元测试（覆盖率 97%）。
• 实验表明，在 CPU 和 GPU 上跨后端的张量分解速度具有竞争力。
• TensorLy 使张量方法能够与深度学习结合，并支持在多 CPU 和多 GPU 设置上的可扩展执行。
• 未来工作包括增加更多方法（PARAFAC2、DEDICOM、张量网络）并探索用于性能的 BLAS 基元扩展。