[论文解读] Novel Factorization Strategies for Higher Order Tensors: Implications for Compression and Recovery of Multi-linear Data

Zemin Zhang, Gregory Ely+3 more|arXiv (Cornell University)|Jul 2, 2013

Tensor decomposition and applications参考文献 19被引用 12

一句话总结

本文提出基于张量-奇异值分解（t-SVD）的新型张量分解策略，以提升三维和四维视频等多线性数据的压缩与恢复性能。通过利用t-SVD的最优性特性，作者构建了张量秩度量方法，并提出一种复杂度惩罚算法用于张量补全，实验证明该方法在缺失条目下视频恢复方面表现更优，且在表示效率上优于传统向量化方法。

ABSTRACT

In this paper we propose novel methods for compression and recovery of multilinear data under limited sampling. We exploit the recently proposed tensor- Singular Value Decomposition (t-SVD)[1], which is a group theoretic framework for tensor decomposition. In contrast to popular existing tensor decomposition techniques such as higher-order SVD (HOSVD), t-SVD has optimality properties similar to the truncated SVD for matrices. Based on t-SVD, we first construct novel tensor-rank like measures to characterize informational and structural complexity of multilinear data. Following that we outline a complexity penalized algorithm for tensor completion from missing entries. As an application, 3-D and 4-D (color) video data compression and recovery are considered. We show that videos with linear camera motion can be represented more efficiently using t-SVD compared to traditional approaches based on vectorizing or flattening of the tensors. Application of the proposed tensor completion algorithm for video recovery from missing entries is shown to yield a superior performance over existing methods. In conclusion we point out several research directions and implications to online prediction of multilinear data.

研究动机与目标

• 解决在有限采样条件下，对三维和四维视频等多线性数据进行高效表示与重建的挑战。
• 开发类似张量秩的度量方法，以表征多线性数据的信息与结构复杂度。
• 提出一种基于复杂度惩罚的张量补全算法，从缺失条目中恢复数据，提升数据恢复性能。
• 展示基于t-SVD的方法在视频压缩与重建方面，相较于传统展平与向量化方法的优越性。

提出的方法

• 本文采用张量奇异值分解（t-SVD），一种具有最优性特性的群论框架张量分解方法，其性质与矩阵SVD类似。
• 基于t-SVD构建新型张量秩度量方法，用于量化多线性数据结构的复杂度。
• 提出一种基于复杂度惩罚的优化框架用于张量补全，平衡低秩逼近与结构保真度。
• 将该方法应用于三维和四维视频数据，特别是在线性相机运动条件下，以利用其固有的低秩结构。
• 该算法利用t-SVD将张量分解为f-对角、f-核心与f-因子成分，实现高效计算与恢复。
• 通过求解一个凸优化问题实现重建，该问题最小化核范数与数据保真度项的组合。

实验结果

研究问题

• RQ1 基于t-SVD的张量分解方法在三维和四维视频数据上，是否能实现比传统向量化或展平方法更优的压缩效率？
• RQ2 从t-SVD导出的张量秩度量方法，能否有效表征多线性数据的结构与信息复杂度？
• RQ3 所提出的复杂度惩罚张量补全算法在恢复存在缺失条目的视频方面，相较于现有方法能提升多少性能？
• RQ4 基于t-SVD的模型能否推广至多线性数据流的在线预测任务？

主要发现

• 与现有张量补全技术相比，基于t-SVD的方法在高缺失数据率场景下表现出更优的视频恢复性能。
• 具有线性相机运动的视频在t-SVD下表现出显著的低秩结构，使得其压缩效率高于传统方法。
• 所提出的张量秩度量方法能有效捕捉多线性数据的内在复杂度，支持更优的模型选择与正则化。
• 复杂度惩罚张量补全算法在多个视频序列中均表现出对缺失条目的鲁棒且精确的重建能力。
• 在压缩效率与重建保真度方面，该方法优于高阶SVD（HOSVD）与基于矩阵的方法。
• 实验结果表明，基于t-SVD的表示方法在达到相同重建质量时所需组件更少，表明其数据效率更高。