[论文解读] Weak in the NEES?: Auto-tuning Kalman Filters with Bayesian Optimization

Zhaozhong Chen, Christoffer Heckman+2 more|arXiv (Cornell University)|Jul 23, 2018

Gaussian Processes and Bayesian Inference参考文献 2被引用 6

一句话总结

本文提出了一种贝叶斯优化框架，用于通过归一化估计误差平方（NEES）或归一化创新平方（NIS）作为随机目标函数，自动调参卡尔曼滤波器参数。通过使用高斯过程代理模型对代价函数曲面进行建模，该方法能高效地定位全局最小值并量化不确定性，在具有真实或模拟真值的非凸调参问题中优于传统优化方法。

ABSTRACT

Kalman filters are routinely used for many data fusion applications including navigation, tracking, and simultaneous localization and mapping problems. However, significant time and effort is frequently required to tune various Kalman filter model parameters, e.g. process noise covariance, pre-whitening filter models for non-white noise, etc. Conventional optimization techniques for tuning can get stuck in poor local minima and can be expensive to implement with real sensor data. To address these issues, a new "black box" Bayesian optimization strategy is developed for automatically tuning Kalman filters. In this approach, performance is characterized by one of two stochastic objective functions: normalized estimation error squared (NEES) when ground truth state models are available, or the normalized innovation error squared (NIS) when only sensor data is available. By intelligently sampling the parameter space to both learn and exploit a nonparametric Gaussian process surrogate function for the NEES/NIS costs, Bayesian optimization can efficiently identify multiple local minima and provide uncertainty quantification on its results.

研究动机与目标

• 解决由于非凸优化曲面导致的手动、耗时的卡尔曼滤波器调参挑战。
• 开发一种无需梯度信息的自动化黑箱调参方法，避免基于梯度方法常见的局部极小值问题。
• 利用NEES（有真值时）和NIS（无真值时）作为随机性能指标，用于优化过程。
• 通过高斯过程代理建模，对估计的最优参数提供不确定性量化。
• 在非线性系统之前，先在线性系统上验证该方法的有效性，再推广至非线性和真实世界应用。

提出的方法

• 使用贝叶斯优化在卡尔曼滤波器参数空间中进行搜索，将调参问题视为随机黑箱优化问题。
• 采用高斯过程（GP）代理模型，近似不同参数配置下的NEES或NIS代价函数。
• 应用采集函数（如期望改进）以在参数空间采样中平衡探索与利用。
• 通过蒙特卡洛模拟在时间步长上评估NEES或NIS代价，使用真实状态或仅传感器数据。
• 采用非参数GP模型学习底层代价曲面，同时保持对预测结果的不确定性估计。
• 该方法可应用于调节过程噪声方差（V）、过程噪声协方差（Q）和观测噪声（R），即使在无真值时亦可适用。

实验结果

研究问题

• RQ1 在非凸代价曲面存在的情况下，贝叶斯优化能否有效调参卡尔曼滤波器？
• RQ2 将NEES和NIS作为随机目标函数，对自动调参的收敛性和鲁棒性有何影响？
• RQ3 该方法能否识别多个局部极小值，并对最优参数估计的不确定性进行量化？
• RQ4 与传统优化方法相比，基于GP的代理模型在收敛速度和解质量方面表现如何？
• RQ5 该方法在具有未知或噪声真值的真实系统中，其泛化能力在多大程度上成立？

主要发现

• 在案例1中，贝叶斯优化方法成功定位到真实最优参数值（V = 1），且代理模型的最小值与真值高度吻合。
• 在案例2中，当V和R在无真值条件下被同时调优时，该方法识别出多个局部极小值，最优解为R ≈ 1.063且V ≈ 1.000。
• GP代理模型的不确定性区间清晰地标识出高模糊区域，特别是在V ≈ 4.5等虚假局部极小值附近。
• 即使代价函数存在噪声且为非凸，该方法仍表现出鲁棒性，优于朴素的搜索策略。
• 估计路径与真实路径的可视化对比表明，不同局部极小值产生的估计性能出人意料地相似，凸显了结合不确定性量化的全局优化的必要性。
• 采集函数有效平衡了探索与利用，在全局最小值附近聚集采样点，同时保持多样性以减少对其他潜在最优解的不确定性。