[论文解读] Optimization or Architecture: How to Hack Kalman Filtering

Ido Greenberg, Netanel Yannay+1 more|arXiv (Cornell University)|Oct 1, 2023

Target Tracking and Data Fusion in Sensor Networks被引用 4

一句话总结

本文提出优化卡尔曼滤波器（OKF），通过监督学习直接优化过程噪声和测量噪声参数，而非依赖传统噪声估计方法，从而改进标准卡尔曼滤波。在多个基准测试中，OKF在性能上优于标准KF和基于神经网络的卡尔曼滤波器，表明非线性模型的所谓优势通常源于实验基线设计不当，即标准KF未被公平优化。

ABSTRACT

In non-linear filtering, it is traditional to compare non-linear architectures such as neural networks to the standard linear Kalman Filter (KF). We observe that this mixes the evaluation of two separate components: the non-linear architecture, and the parameters optimization method. In particular, the non-linear model is often optimized, whereas the reference KF model is not. We argue that both should be optimized similarly, and to that end present the Optimized KF (OKF). We demonstrate that the KF may become competitive to neural models - if optimized using OKF. This implies that experimental conclusions of certain previous studies were derived from a flawed process. The advantage of OKF over the standard KF is further studied theoretically and empirically, in a variety of problems. Conveniently, OKF can replace the KF in real-world systems by merely updating the parameters.

研究动机与目标

• 解决非线性模型（如神经网络）与标准卡尔曼滤波器（KF）之间的不公平比较问题，即通常未对KF进行优化而对非线性模型进行了优化。
• 证明当假设（如i.i.d.高斯噪声）不成立时，标准KF的性能会下降，导致噪声估计无法有效作为MSE优化的代理。
• 通过使用与非线性模型相同的监督学习过程对KF进行优化，提出更公平的基准测试方法。
• 表明当标准KF被正确优化后，可在真实世界的滤波任务中超越基于神经网络的卡尔曼滤波器，从而挑战非线性架构在滤波任务中“必要性”的普遍认知。

提出的方法

• 提出优化卡尔曼滤波器（OKF），保留线性KF架构，但将传统噪声估计替换为端到端的监督学习，以优化过程噪声（Q）和测量噪声（R）参数。
• 使用包含观测值和真实状态的标注训练数据，通过预测状态与真实状态之间的均方误差（MSE）损失来训练OKF。
• 对标准KF应用与基于神经网络的卡尔曼滤波器（如NKF）相同的优化过程，确保线性模型与非线性模型之间的公平比较。
• 通过仅更新噪声参数，将OKF实现为标准KF的即插即用替代品，从而可无缝集成到真实世界系统中。
• 使用合成数据和真实世界数据集（包括多普勒雷达和运动追踪任务）评估在分布偏移和不同数据规模下的性能表现。
• 使用MSE和负对数似然（NLL）等指标，将OKF与标准KF、神经网络KF（NKF）以及aKF和NKFH等变体进行比较。

Figure 1 : Since the KF assumptions are often violated, noise estimation does not optimize the MSE. Instead, our method (OKF) optimizes the MSE directly. In particular, neural network models should be tested against OKF rather than the non-optimized KF – in contrast to the common practice in the lit

实验结果

研究问题

• RQ1 当建模假设被违反时，若使用传统方法估计噪声参数，标准卡尔曼滤波器的性能是否会下降？
• RQ2 如果线性卡尔曼滤波器与非线性神经网络模型均使用相同的监督学习优化目标进行训练，线性KF能否优于非线性神经网络模型？
• RQ3 在非线性滤波场景中，噪声估计在多大程度上可作为MSE优化的有效代理？
• RQ4 在分布偏移条件下，通过监督学习优化KF与传统估计方法相比，其性能如何变化？
• RQ5 在先前研究中，若使用未优化的KF作为基线，其对非线性模型在滤波任务中优越性的结论会产生何种影响？

主要发现

• 在所有评估的基准测试中，OKF均优于标准KF，包括自由运动和恒定加速度场景，表明标准KF调参存在次优性。
• 在自由运动基准测试中，OKF实现了最低的MSE和NLL，甚至优于更复杂的NKF和NKFH模型，后者表现出较高的NLL和不稳定性。
• 在Const_a基准测试中，仅NKFH在MSE上优于OKF，但NKFH的NLL极高，表明其概率校准性能差。
• 当使用噪声估计时，标准KF的性能随数据量增加而下降，这与‘更多数据总能改善估计’的假设相矛盾。
• 即使在使用已知噪声的最优估计条件下，MSE优化仍无法可靠实现，凸显了噪声估计与MSE最小化之间的根本性不匹配。
• 本研究揭示，先前研究中非线性模型在滤波任务中占优的结论往往无效，原因在于比较不公平，即未对KF进行优化。

Figure 2 : The KF algorithm. The prediction step is based on the motion model $\tilde{F}_{t}$ with noise $\hat{Q}$ , whereas the update step is based on the observation model $\tilde{H}_{t}$ with noise $\hat{R}$ .