[论文解读] Tensor Networks for Big Data Analytics and Large-Scale Optimization Problems

Andrzej Cichocki|arXiv (Cornell University)|Jul 11, 2014

Tensor decomposition and applications参考文献 93被引用 45

一句话总结

本文提出张量网络，特别是张量列车（TT）和量化张量列车（QTT）分解，作为一种可扩展的框架，用于解决大规模数据分析中的大规模优化问题。通过将高维数据转换为低秩张量网络，该方法能够使用小规模矩阵和迭代收缩实现高效计算，从而对原本难以处理的问题实现超大规模压缩和可计算的解决方案。

ABSTRACT

In this paper we review basic and emerging models and associated algorithms for large-scale tensor networks, especially Tensor Train (TT) decompositions using novel mathematical and graphical representations. We discus the concept of tensorization (i.e., creating very high-order tensors from lower-order original data) and super compression of data achieved via quantized tensor train (QTT) networks. The purpose of a tensorization and quantization is to achieve, via low-rank tensor approximations "super" compression, and meaningful, compact representation of structured data. The main objective of this paper is to show how tensor networks can be used to solve a wide class of big data optimization problems (that are far from tractable by classical numerical methods) by applying tensorization and performing all operations using relatively small size matrices and tensors and applying iteratively optimized and approximative tensor contractions. Keywords: Tensor networks, tensor train (TT) decompositions, matrix product states (MPS), matrix product operators (MPO), basic tensor operations, tensorization, distributed representation od data optimization problems for very large-scale problems: generalized eigenvalue decomposition (GEVD), PCA/SVD, canonical correlation analysis (CCA).

研究动机与目标

• 解决经典数值方法在处理具有高容量、多样性、高速度和高真实性特征的大数据时的局限性。
• 开发一种可扩展的框架，用于解决传统方法难以计算的大规模优化问题。
• 通过张量化和低秩近似，实现对多模态、高维数据（如神经影像、时间序列和光谱图）的高效处理。
• 将张量网络作为分布式、分层表示，支持降维、缺失数据处理和对噪声数据的鲁棒性。
• 提供一种统一的计算范式，通过TT分解将全局大规模问题转化为局部、可计算的子问题。

提出的方法

• 应用张量化将低阶数据（如矩阵、向量）转换为高阶张量，以利用多维结构。
• 使用张量列车（TT）分解将张量表示为一系列低维核心张量的序列，实现压缩和高效计算。
• 实现量化张量列车（QTT）网络，以实现数据的超大规模压缩，尤其适用于结构化、高维数组。
• 所有操作（如收缩、SVD和广义特征值分解）均在TT格式中使用小尺寸矩阵完成。
• 利用张量网络图可视化和管理跨核心的复杂多线性操作和收缩。
• 应用交替最小二乘法（ALS）、密度矩阵密度近似（DMRG）以及CUR/交叉近似等迭代算法，实现TT分解和低秩约束下的优化。

实验结果

研究问题

• RQ1 张量网络能否在保持关键结构和统计特性的同时，有效压缩和表示大规模、高维数据？
• RQ2 TT/QTT分解在多大程度上能将原本难以处理的大规模优化问题转化为可计算的局部子问题？
• RQ3 张量网络方法如何在神经科学和生物信息学等不同科学领域中，处理具有噪声、不完整和多模态特征的数据？
• RQ4 在不同近似精度和TT秩约束条件下，基于TT的优化算法的收敛性和稳定性特性如何？
• RQ5 如何将张量网络模型扩展以整合复杂系统（如分子结构），并赋予其有意义的物理解释？

主要发现

• 张量列车（TT）分解能够有效压缩大规模数据，在保持高精度的同时降低计算复杂度。
• 量化张量列车（QTT）网络实现超大规模压缩，使原本需要拍字节级内存存储的数据得以高效存储和处理。
• 该框架将全局优化问题转化为一系列局部、低维子问题，每个子问题均可使用标准数值方法求解。
• 张量网络支持对缺失值和噪声数据的鲁棒处理，使其适用于具有高真实性挑战的真实世界大数据。
• 该方法适用于多种问题，包括主成分分析/SVD、典型相关分析（CCA）和广义特征值分解（GEVD），即使在高数据多样性和高维性条件下也适用。
• 尽管已取得进展，但在控制TT秩自适应、防止秩爆炸，以及为TT算法开发先验误差界和收敛性保证方面仍存在挑战。