[论文解读] On Input Design for Regularized LTI System Identification: Power-constrained Input

Biqiang Mu, Tianshi Chen|arXiv (Cornell University)|Aug 18, 2017

Control Systems and Identification参考文献 20被引用 3

一句话总结

本文提出了一种两步凸优化框架，用于在核基正则化方法（KRM）中设计功率受限的输入信号，适用于线性时不变（LTI）系统辨识。通过引入二次映射使问题凸化，并利用贝叶斯最优性准则（A-、D-、E-最优性），该方法在无需求解大规模非凸问题的情况下，高效计算出全局最优输入，且对固定核可推导出解析解。

ABSTRACT

Input design is an important issue for classical system identification methods but has not been investigated for the kernel-based regularization method (KRM) until very recently. In this paper, we consider in the time domain the input design problem of KRMs for LTI system identification. Different from the recent result, we adopt a Bayesian perspective and in particular make use of scalar measures (e.g., the $A$-optimality, $D$-optimality, and $E$-optimality) of the Bayesian mean square error matrix as the design criteria subject to power-constraint on the input. Instead to solve the optimization problem directly, we propose a two-step procedure. In the first step, by making suitable assumptions on the unknown input, we construct a quadratic map (transformation) of the input such that the transformed input design problems are convex, the number of optimization variables is independent of the number of input data, and their global minima can be found efficiently by applying well-developed convex optimization software packages. In the second step, we derive the expression of the optimal input based on the global minima found in the first step by solving the inverse image of the quadratic map. In addition, we derive analytic results for some special types of fixed kernels, which provide insights on the input design and also its dependence on the kernel structure.

研究动机与目标

• 解决核基正则化方法（KRM）在LTI系统辨识中缺乏系统化输入设计方法的问题。
• 将输入设计建模为基于后验均方误差矩阵标量度量（A-、D-、E-最优性）的贝叶斯优化问题。
• 通过将输入空间变换为凸域，克服大规模非凸输入设计问题的计算不可行性。
• 通过标准凸优化求解器实现高效全局优化，同时保持原始问题的结构特性。
• 为特定固定核推导出解析的输入设计，揭示最优激励对核结构的依赖关系。

提出的方法

• 采用贝叶斯视角，以后验均方误差矩阵作为输入设计的性能度量指标。
• 引入输入信号的二次变换，将原始非凸问题转化为变量数量固定（与数据长度无关）的凸优化问题。
• 采用后验均方误差矩阵的标量度量作为设计准则：A-最优性（迹）、D-最优性（行列式）和E-最优性（最大特征值）。
• 应用成熟的凸优化软件求解变换后的问题，高效获得全局最小值。
• 通过计算二次映射的逆像，从凸问题的解重构出最优输入信号。
• 为特定固定核（如AMLS核、有理核）推导出最优输入的解析表达式，揭示其对核参数的结构依赖性。

实验结果

研究问题

• RQ1 如何系统地为LTI系统辨识中的核基正则化方法（KRM）制定输入设计？
• RQ2 在功率约束下，能否将非凸输入设计问题转化为凸问题，以确保全局最优性？
• RQ3 核结构对KRM系统辨识中最优激励信号有何影响？
• RQ4 不同的贝叶斯最优性准则（A-、D-、E-最优性）如何影响最终的输入设计？
• RQ5 当核固定时，能否推导出最优输入的解析解？这些解提供了哪些新见解？

主要发现

• 所提出的两步法通过二次输入映射将原始非凸输入设计问题转化为凸问题，使标准求解器能够实现全局优化。
• 变换后问题中的优化变量数量与数据点数量无关，确保了对大规模数据集的可扩展性。
• 对于AMLS核或有理核等固定核，推导出最优输入的解析表达式，揭示最优激励依赖于核的谱特性。
• 通过求解凸问题并反演二次变换，实现全局最优性，避免了梯度方法中常见的局部极小值问题。
• 建立了零向量为可行集内部点的理论条件，确保当 $ N \geq 2n - 2 $ 时，解空间具有全维性质。
• 该框架为先前工作（如Fujimoto & Sugie, 2016）提供了可扩展且高效的替代方案，后者存在高维非凸优化与收敛性问题。