[论文解读] Tensor-Tensor Products for Optimal Representation and Compression

Misha E. Kilmer, Lior Horesh+2 more|arXiv (Cornell University)|Dec 31, 2019

Tensor decomposition and applications参考文献 21被引用 5

一句话总结

该论文提出基于张量-张量积的截断SVD（t-SVDM 和 t-SVDMII），用于高维数据的最优低秩逼近与压缩。理论上和数值实验均表明，基于张量的表示方法在压缩效率和逼近精度方面优于传统的基于矩阵的展平方法，实验中压缩比最高达22.73倍，相对误差为0.045。

ABSTRACT

In this era of big data, data analytics and machine learning, it is imperative to find ways to compress large data sets such that intrinsic features necessary for subsequent analysis are not lost. The traditional workhorse for data dimensionality reduction and feature extraction has been the matrix SVD, which presupposes that the data has been arranged in matrix format. Our main goal in this study is to show that high-dimensional data sets are more compressible when treated as tensors (aka multiway arrays) and compressed via tensor-SVDs under the tensor-tensor product structures in (Kilmer and Martin, 2011; Kernfeld et al., 2015). We begin by proving Eckart Young optimality results for families of tensor-SVDs under two different truncation strategies. As such optimality properties can be proven in both matrix and tensor-based algebras, a fundamental question arises: does the tensor construct subsume the matrix construct in terms of representation efficiency? The answer is yes, as shown when we prove that a tensor-tensor representation of an equal dimensional spanning space can be superior to its matrix counterpart. We then investigate how the compressed representation provided by the truncated tensor-SVD is related both theoretically and in compression performance to its closest tensor-based analogue, truncated HOSVD (De Lathauwer et al., 2000; De Lathauwer and Vandewalle, 2004), thereby showing the potential advantages of our tensor-based algorithms. Finally, we propose new tensor truncated SVD variants, namely multi-way tensor SVDs, provide further approximated representation efficiency and discuss under which conditions they are considered optimal. We conclude with a numerical study demonstrating the utility of the theory.

研究动机与目标

• 在张量-张量积结构下，建立张量-SVD在高维数据压缩中的理论最优性。
• 解决长期存在的问题：基于张量的表示能否在表示效率上涵盖基于矩阵的表示？
• 开发新型基于张量的SVD变体（t-SVDMII），以在压缩性能上超越HOSVD和矩阵SVD等现有方法。
• 证明基于张量的处理在保持数据内在结构方面优于展平方法，并能实现更高的压缩比。
• 为所提出的方法提供理论保证，并在真实世界数据上进行实证验证。

提出的方法

• 该论文提出t-SVDM和t-SVDMII算法，通过张量-张量积将高阶张量转换为适合通过SVD进行低秩逼近的形式。
• 采用可逆变换矩阵M和B（例如DFT矩阵）定义张量-张量积，实现在各模式上的独立处理。
• 对变换后张量的前向切片应用经济型SVD，随后通过能量截断保留主导分量。
• t-SVDMII变体采用张量及其排列的t-SVDM表达式的凸组合，通过秩优化实现进一步压缩。
• 该框架允许对张量设置下的Eckart-Young最优性进行理论分析，证明截断张量-SVD在Frobenius范数下实现最优低秩逼近。
• 该方法在四阶YaleB人脸图像数据集上进行了数值验证，其中图像块被视为张量元素，并使用所提算法进行压缩。

实验结果

研究问题

• RQ1 基于张量-张量积的张量型低秩逼近能否在压缩效率和逼近精度上优于基于矩阵的展平方法？
• RQ2 张量-张量积框架是否具备在表示效率上涵盖矩阵SVD的能力？
• RQ3 所提出的t-SVDM和t-SVDMII算法在压缩比和误差方面与传统HOSVD和矩阵SVD相比表现如何？
• RQ4 在不同截断策略和张量积结构下，截断张量-SVD的理论最优性如何？
• RQ5 如何设计变换矩阵M和B，以在最小化逼近误差的同时最大化压缩率？

主要发现

• 当使用p=8、q=2和能量容差γ=0.994时，t-SVDMII算法实现22.73倍的压缩比，相对误差为0.077。
• 在相同数据下，当γ=0.998时，t-SVDMII实现8.85倍压缩比，相对误差为0.045，优于t-SVDM在两项指标上的表现。
• 所提出的基于张量的方法在压缩效率上显著优于基于矩阵的SVD，t-SVDMII在YaleB数据集上最高实现22.73倍压缩。
• 理论分析证实，在张量-张量积下，截断张量-SVD满足Eckart-Young最优性条件，证明其在低秩逼近中的最优性。
• 该框架表明，基于张量的表示可比基于矩阵的表示更高效，t-SVDMII在误差更低且压缩比更高的方面优于t-SVDM和矩阵SVD。
• 研究表明，变换矩阵M和B的选择显著影响压缩性能，提示数据自适应设计对实现最优结果至关重要。