[论文解读] Tensor GMRES and Golub-Kahan Bidiagonalization methods via the Einstein product with applications to image and video processing

M. El Guide, Alaa El Ichi+2 more|arXiv (Cornell University)|May 15, 2020

Tensor decomposition and applications参考文献 28被引用 11

一句话总结

本文提出基于爱因斯坦积的张量 GMRES 与全局 Golub-Kahan 伪对角化方法，用于求解在彩色图像与视频修复中出现的病态多线性系统。通过利用张量结构与 Tikhonov 正则化，该方法实现了高效、稳定的解法，并降低了计算复杂度，在合成模糊且含噪的 RGB 图像与视频上展现出优越的修复质量与速度。

ABSTRACT

In the present paper, we are interested in developing iterative Krylov subspace methods in tensor structure to solve a class of multilinear systems via Einstein product. In particular, we develop global variants of the GMRES and Gloub--Kahan bidiagonalization processes in tensor framework. We further consider the case that mentioned equation may be possibly corresponds to a discrete ill-posed problem. Applications arising from color image and video restoration are included.

研究动机与目标

• 针对利用张量结构高效求解来自彩色图像与视频处理的大规模多线性系统所面临的挑战。
• 开发适用于张量方程与爱因斯坦积的稳健迭代 Krylov 子空间方法，以处理病态问题。
• 在张量框架内集成 Tikhonov 正则化，以稳定噪声大、病态条件的系统解。
• 通过利用多维张量结构而非向量化数据，降低计算复杂度。
• 通过定量性能指标，在真实世界图像与视频修复任务中证明所提方法的有效性。

提出的方法

• 利用爱因斯坦积将图像/视频修复问题建模为张量方程 $\mathcal{A} \ast_N \mathcal{X} = \mathcal{C}$，以处理多维数据。
• 将全局 GMRES 与全局 Golub-Kahan 伪对角化过程适配为通过爱因斯坦积直接在张量上操作。
• 对张量系统应用 Tikhonov 正则化，以稳定病态问题的解。
• 使用不一致原理与广义交叉验证（GCV）自动选择最优正则化参数。
• 基于残差范数与收敛准则实现带早期终止的迭代求解器。
• 在整个计算过程中保持完整的张量结构，避免展开为矩阵或向量带来的计算负担。

实验结果

研究问题

• RQ1 能否通过爱因斯坦积将 Krylov 子空间方法有效扩展至张量方程，以用于图像与视频修复？
• RQ2 与标准矩阵方法相比，基于张量的 GMRES 与 Golub-Kahan 方法在准确度与计算成本方面表现如何？
• RQ3 Tikhonov 正则化对修复后彩色图像与视频的稳定性与质量有何影响？
• RQ4 在张量框架中，能否成功应用基于 GCV 或不一致原理的自动正则化参数选择？
• RQ5 在大规模图像与视频处理任务中，保持张量结构在多大程度上可降低计算复杂度？

主要发现

• 在噪声水平 $10^{-3}$ 的彩色图像修复中，算法 4（GGKB）达到 24.37 dB 的 PSNR 与 $4.51 \times 10^{-2}$ 的相对误差，优于算法 2（GMRES）在 PSNR 与误差方面的表现。
• 在噪声水平 $10^{-2}$ 时，算法 4 达到 20.97 dB 的 PSNR 与 $6.67 \times 10^{-2}$ 的相对误差，而算法 2 为 20.60 dB 与 $6.96 \times 10^{-2}$，表现出一致的优越性。
• 在视频修复中，算法 4 在 $10^{-3}$ 噪声水平下达到 19.24 dB 的 PSNR，而算法 2 仅为 15.48 dB，显示出质量的显著提升。
• 在视频修复中，算法 4 的 CPU 时间为 27.37 秒（$10^{-3}$ 噪声水平），显著低于算法 2 的 38.93 秒。
• 在图像修复中，算法 4 经过 61 步后，通过不一致原理选择正则化参数 $\mu_{\ell} = 2.95 \times 10^{-4}$，满足误差容差。
• 在视频修复中，不一致原理在 $\ell = 59$ 步时被满足，正则化参数 $\mu_{\ell} = 1.06 \times 10^{-4}$，证实了有效正则化与收敛性。