[论文解读] Regularized system identification using orthonormal basis functions

Tianshi Chen, Lennart Ljung|arXiv (Cornell University)|Apr 11, 2015

Control Systems and Identification参考文献 9被引用 3

一句话总结

本文提出了一种使用正交基函数的正则化系统辨识框架，将岭回归从脉冲响应估计扩展到一般的基函数展开。结果表明，基于正交基的核正则化等价于对系数的岭回归，且在数据有限的慢系统中性能优于传统的FIR和拉盖尔模型。

ABSTRACT

Most of existing results on regularized system identification focus on regularized impulse response estimation. Since the impulse response model is a special case of orthonormal basis functions, it is interesting to consider if it is possible to tackle the regularized system identification using more compact orthonormal basis functions. In this paper, we explore two possibilities. First, we construct reproducing kernel Hilbert space of impulse responses by orthonormal basis functions and then use the induced reproducing kernel for the regularized impulse response estimation. Second, we extend the regularization method from impulse response estimation to the more general orthonormal basis functions estimation. For both cases, the poles of the basis functions are treated as hyperparameters and estimated by empirical Bayes method. Then we further show that the former is a special case of the latter, and more specifically, the former is equivalent to ridge regression of the coefficients of the orthonormal basis functions.

研究动机与目标

• 解决传统系统辨识方法在短时和噪声数据场景下的局限性。
• 克服在慢动态系统或高采样率下有限脉冲响应（FIR）模型的高方差问题。
• 为正交基函数开发统一的正则化框架，以提高模型精度和鲁棒性。
• 研究基函数极点与核结构在正则化性能中的作用。
• 证明在某些情况下，对基函数系数的正则化优于对脉冲响应的正则化。

提出的方法

• 利用正交基函数构建脉冲响应的再生核希尔伯特空间（RKHS），以实现基于核的正则化。
• 将正则化从脉冲响应估计扩展到一般的正交基函数展开，将基函数极点视为超参数。
• 使用经验贝叶斯方法估计正交基函数的极点，以优化数据拟合性能。
• 将正则化表述为对基函数系数的核岭回归问题。
• 比较两种核函数：Tikhonov正则化（TC）核与对角（DI）核，以评估其对系数估计的影响。
• 以拉盖尔基函数为例进行案例研究，评估其相对于FIR和标准拉盖尔模型的性能。

实验结果

研究问题

• RQ1 与标准FIR模型相比，基于正交基函数的正则化是否能提高系统辨识精度？
• RQ2 基于核的正则化在脉冲响应上是否等价于对正交基函数系数的正则化？
• RQ3 不同的核结构（TC与DI）如何影响正则化基函数估计的性能？
• RQ4 对正交基函数系数的正则化是否优于传统脉冲响应正则化？
• RQ5 当通过经验贝叶斯方法估计基函数极点时，极点的选择如何影响最终模型性能？

主要发现

• 所提出的RLAG（正则化拉盖尔基函数）方法在慢系统中分别实现了91.8%（S1D1）、76.3%（S1D2）、86.8%（S2D1）和70.1%（S2D2）的模型拟合度，显著优于LS-LAG和RFIR。
• 对于慢系统（S2D1和S2D2），RLAG相比RFIR性能提升约5%，表明紧凑基表示具有优势。
• TC核与DI核在RLAG中性能几乎相同，表明在确保绝对收敛的前提下，对系数的独立性假设是合理的。
• RFIR-LAG性能劣于RLAG，表明岭回归对拉盖尔系数的正则化不适用，因其结构不匹配。
• 基于RKHS的正则化使用正交基函数在数学上等价于对基函数系数的岭回归，验证了理论基础。
• 通过经验贝叶斯方法估计基函数极点可提升模型拟合度，证实了自适应超参数调优的重要性。