[论文解读] Tensor Network alternating linear scheme for MIMO Volterra system identification

Kim Batselier, Zhongming Chen+1 more|arXiv (Cornell University)|Jul 1, 2016

Tensor decomposition and applications参考文献 20被引用 3

一句话总结

该论文提出两种基于张量网络的交替线性算法（ALS 和 MALS），用于高效识别高阶 MIMO Volterra 系统，通过在紧凑的 Tucker 类张量列车（TT）格式中表示 Volterra 核，避免了维度灾难。该方法通过 SVD 和 QR 进行低复杂度的线性求解，迭代优化正交 TT 核，可在标准 PC 上在 2 秒内实现高达 10 阶的 MIMO Volterra 模型，且具有高精度和单调收敛性。

ABSTRACT

This article introduces two Tensor Network-based iterative algorithms for the identification of high-order discrete-time nonlinear multiple-input multiple-output (MIMO) Volterra systems. The system identification problem is rewritten in terms of a Volterra tensor, which is never explicitly constructed, thus avoiding the curse of dimensionality. It is shown how each iteration of the two identification algorithms involves solving a linear system of low computational complexity. The proposed algorithms are guaranteed to monotonically converge and numerical stability is ensured through the use of orthogonal matrix factorizations. The performance and accuracy of the two identification algorithms are illustrated by numerical experiments, where accurate degree-10 MIMO Volterra models are identified in about 1 second in Matlab on a standard desktop pc.

研究动机与目标

• 解决高阶 MIMO Volterra 系统辨识中的维度灾难问题，其中核存储与计算随阶次呈指数级增长。
• 通过引入基于张量列车（TT）的张量网络（TN）框架，克服 CP 分解与 Tucker 分解的局限性，实现稳定且低秩的表示。
• 设计两种迭代算法——ALS 和 MALS——从输入-输出数据中识别 TT 格式下的 Volterra 核，同时确保数值稳定性和单调收敛性。
• 在标准硬件上实现实时或近实时应用，证明可辨识高达 10 阶的 MIMO Volterra 模型，推动非线性系统建模的实际应用。

提出的方法

• 将 Volterra 张量表示为紧凑的张量列车（TT）格式，通过低秩核心张量隐式存储所有核系数，避免显式构造。
• 使用交替最小二乘法（ALS）迭代优化每个 TT 核，其余核保持固定，通过 QR 和 SVD 求解小型线性系统以保证数值稳定性。
• 提出一种改进的 ALS（MALS），在迭代过程中利用 SVD 自适应更新 TT 秩，实现更优的模型复杂度选择。
• 在每一步通过 QR 和 SVD 分解强制 TT 核正交，确保数值稳定性并防止病态条件。
• 将辨识问题表述为在 TT 格式下的非线性最小二乘优化问题，在标准条件下可保证收敛。
• 将算法应用于输入-输出数据，迭代更新 TT 核直至达到期望的残差容差，每轮迭代监控运行时间和精度。

实验结果

研究问题

• RQ1 张量网络格式（如张量列车，TT）能否在不显式构造完整张量的前提下，有效表示高阶 MIMO Volterra 核？
• RQ2 能否设计出高效的迭代交替线性算法（ALS/MALS），在 TT 格式下实现 MIMO Volterra 系统的辨识，同时保证单调收敛性和数值稳定性？
• RQ3 在标准硬件上，当辨识高阶（如 10 阶）MIMO Volterra 系统时，所提算法在计算速度和精度方面表现如何？
• RQ4 噪声对辨识性能有何影响？MALS 算法能否自适应调整 TT 秩，以在模型精度与复杂度之间取得平衡？
• RQ5 TT 基础框架能否实现 10 阶 MIMO Volterra 模型的亚秒级辨识，从而实现实时或近实时系统辨识？

主要发现

• 所提出的 ALS 和 MALS 算法在标准台式计算机上约 1 秒内成功辨识出 10 阶 MIMO Volterra 系统，展现出卓越的计算效率。
• ALS 方法在输入 SNR 为 25 dB 的信号下，达到相对残差 0.052，模拟输出 SNR 达 37 dB，表明在噪声条件下具有高保真度。
• MALS 方法在收敛速度上优于 ALS，所有 SNR 水平下均在 1.1–1.3 秒内完成辨识，且模拟输出 SNR 稳定提升。
• MALS 算法可动态自适应调整 TT 秩，在高噪声下自动增加秩，但当数据不足时存在过拟合风险，提示需引入正则化。
• 通过 SVD 和 QR 实现的正交 TT 核更新，确保了两种算法的单调收敛性和数值稳定性，避免了病态条件。
• TT 格式将存储与计算量从指数级 $ (pM)^d $ 降低至 $ O(d(pM+1)r^2) $，有效破解了高阶 MIMO Volterra 系统的维度灾难问题。