[论文解读] Tensor network subspace identification of polynomial state space models

Kim Batselier, Ching Yun Ko+1 more|arXiv (Cornell University)|Sep 26, 2017

Tensor decomposition and applications参考文献 10被引用 3

一句话总结

本文提出一种基于张量网络的多项式状态空间模型子空间辨识方法，通过低秩张量网络表示非线性项，避免维度灾难。证明了子空间方法中的块Hankel矩阵可被精确表示为低秩张量网络，与标准矩阵方法相比，计算和存储成本降低高达20倍，在噪声数据和真实世界数据上均表现出鲁棒性能。

ABSTRACT

This article introduces a tensor network subspace algorithm for the identification of specific polynomial state space models. The polynomial nonlinearity in the state space model is completely written in terms of a tensor network, thus avoiding the curse of dimensionality. We also prove how the block Hankel data matrices in the subspace method can be exactly represented by low rank tensor networks, reducing the computational and storage complexity significantly. The performance and accuracy of our subspace identification algorithm are illustrated by numerical experiments, showing that our tensor network implementation is around 20 times faster than the standard matrix implementation before the latter fails due to insufficient memory, is robust with respect to noise and can model real-world systems.

研究动机与目标

• 解决多项式状态空间模型中的维度灾难问题，即参数数量随多项式次数呈指数增长。
• 开发一种非迭代、计算高效的多项式状态空间模型辨识方法，利用张量网络实现。
• 在标准方法因内存或时间限制而失效的高维真实世界系统中，实现鲁棒的系统辨识。
• 证明张量网络表示可精确捕捉子空间方法中核心的块Hankel数据矩阵，从而实现低秩压缩。
• 提供一种可扩展的替代方案，以替代PNLSS等迭代方法，后者存在收敛缓慢和计算成本高的问题。

提出的方法

• 构建具有线性状态转移和多变量多项式输入依赖的多项式状态空间模型，参数化为张量形式。
• 使用张量网络表示多项式函数f(·)和g(·)，实现紧凑的低秩表示，避免参数数量的指数增长。
• 修改传统的MOESP子空间方法，使其直接在输入-输出数据的张量网络表示上运行。
• 在定理4.1中证明：子空间辨识中的块Hankel数据矩阵可被精确表示为低秩张量网络，从而实现精确的低秩压缩。
• 在TNMOESP MATLAB/Octave工具包中实现该算法，利用张量列车（tensor train）和Tucker格式实现高效计算与存储。
• 利用张量网络结构在不显式构造大型稠密矩阵的情况下完成子空间辨识，从而降低内存和时间复杂度。

实验结果

研究问题

• RQ1 能否利用张量网络以避免多项式次数增加导致的参数数量指数增长的方式，表示多项式状态空间模型？
• RQ2 是否可以将子空间辨识中使用的块Hankel数据矩阵精确表示为低秩张量网络？
• RQ3 与基于标准矩阵的实现相比，所提出的张量网络子空间方法是否在计算和存储复杂度上实现显著降低？
• RQ4 在含噪声的真实世界系统中，该张量网络方法与PNLSS和Volterra模型等迭代方法相比性能如何？
• RQ5 基于张量网络的模型能否作为非线性系统辨识中迭代优化的有效初始猜测？

主要发现

• 所提出的TNMOESP方法在标准矩阵方法因内存限制而失效前，速度约为其20倍。
• 在真实世界的阀门放大器系统上，该方法的相对验证误差为0.148，显著优于线性状态空间模型（误差0.418）。
• 通过PNLSS工具箱识别出的一般多项式状态空间模型误差更低（0.087），但耗时12,317秒，凸显了精度与计算成本之间的权衡。
• Volterra模型达到最低误差（0.004），表明真实系统可能更适于用Volterra结构而非所提出的多项式状态空间形式来描述。
• 张量网络表示可精确实现块Hankel矩阵的低秩压缩，如定理4.1所证明，这是该方法高效性和可扩展性的基础。
• 该方法对噪声具有鲁棒性，能成功建模真实世界中的非线性动态，证明其在合成基准之外的实际可行性。