[论文解读] The discriminative Kalman filter for nonlinear and non-Gaussian sequential Bayesian filtering

Michael C. Burkhart, David M. Brandman+2 more|arXiv (Cornell University)|Aug 23, 2016

Gaussian Processes and Bayesian Inference参考文献 1被引用 5

一句话总结

该论文提出了判别性卡尔曼滤波器（DKF），一种闭式贝叶斯滤波方法，其建模的是 $ p(\text{state}|\text{observation}) $ 而非传统的 $ p(\text{observation}|\text{state}) $，从而在非线性和非高斯设置下实现了高效且精确的推理。通过利用判别回归（例如高斯过程或神经网络）来学习 $ p(z_t|x_t) $，DKF 在高维观测空间中实现了神经解码任务的最先进性能，优于标准卡尔曼滤波器和粒子滤波器。

ABSTRACT

The Kalman filter (KF) is used in a variety of applications for computing the posterior distribution of latent states in a state space model. The model requires a linear relationship between states and observations. Extensions to the Kalman filter have been proposed that incorporate linear approximations to nonlinear models, such as the extended Kalman filter (EKF) and the unscented Kalman filter (UKF). However, we argue that in cases where the dimensionality of observed variables greatly exceeds the dimensionality of state variables, a model for $p( ext{state}| ext{observation})$ proves both easier to learn and more accurate for latent space estimation. We derive and validate what we call the discriminative Kalman filter (DKF): a closed-form discriminative version of Bayesian filtering that readily incorporates off-the-shelf discriminative learning techniques. Further, we demonstrate that given mild assumptions, highly non-linear models for $p( ext{state}| ext{observation})$ can be specified. We motivate and validate on synthetic datasets and in neural decoding from non-human primates, showing substantial increases in decoding performance versus the standard Kalman filter.

研究动机与目标

• 解决序列贝叶斯滤波中高维观测空间的挑战，其中学习 $ p(\text{observation}|\text{state}) $ 困难且计算成本高昂。
• 通过从生成模型转向判别模型来提升非线性和非高斯系统中滤波的准确性和效率。
• 在闭式滤波框架中整合现成的判别学习技术（如高斯过程和神经网络）。
• 展示 DKF 在神经解码任务中的优越性，特别是在观测维度远大于状态维度的情况下。

提出的方法

• 重写标准贝叶斯滤波公式，以表达 $ p(z_t|x_{1:t}) \propto \frac{p(z_t|x_t)}{p(z_t)} \int p(z_t|z_{t-1})p(z_{t-1}|x_{1:t-1}) \, dz_{t-1} $，从而实现对 $ p(z_t|x_t) $ 的判别建模。
• 将 $ p(z_t|x_t) $ 建模为非线性高斯分布 $ \mathcal{N}(f(x_t), Q(x_t)) $，其中 $ f $ 和 $ Q $ 通过判别回归技术从数据中学习。
• 保持标准的状态转移和先验分布 $ p(z_t) $ 与 $ p(z_t|z_{t-1}) $，确保与卡尔曼滤波动力学的兼容性。
• 推导出 $ p(z_t|x_{1:t}) $ 的闭式解，该解在 $ f $ 和 $ Q $ 非线性时依然有效，从而实现高效计算。
• 采用现成的回归模型（如高斯过程和前馈神经网络）来构建 $ f $ 和 $ Q $，实现灵活、数据驱动的后验估计。
• 使用合成数据和来自非人灵长类动物的真实神经解码数据验证 DKF，与 EKF、UKF 和粒子滤波器进行性能比较。

实验结果

研究问题

• RQ1 建模 $ p(\text{state}|\text{observation}) $ 而非 $ p(\text{observation}|\text{state}) $ 是否能在高维观测空间中实现更准确、更高效的贝叶斯滤波？
• RQ2 DKF 在非线性和非高斯序列估计任务中是否优于经典卡尔曼滤波器和粒子滤波器？
• RQ3 判别学习技术（如高斯过程和神经网络）能否有效集成到闭式滤波框架中？
• RQ4 在何种场景下 DKF 优于传统滤波方法，特别是在观测维度超过状态维度时？

主要发现

• 在涉及高维神经数据的神经解码任务中，DKF 相较于标准卡尔曼滤波器实现了显著的解码性能提升。
• 在准确性和计算效率方面，DKF 优于粒子滤波和 EKF/UKF 变体，尤其当 $ m \gg d $ 时表现更优。
• 即使在 $ f $ 和 $ Q $ 极其非线性的情况下，DKF 也能实现精确的闭式推理，无需像粒子滤波那样依赖数值近似。
• DKF-GP 和 DKF-NN 变体在包含 103 个神经输入维度的食蟹猴运动皮层数据集上表现良好，证明了其对高维观测的鲁棒性。
• 当 $ p(\text{observation}|\text{state}) $ 因高维观测而难以学习时，该方法尤为有效，使其成为生成滤波的实用替代方案。
• 尽管具有优势，DKF 假设后验为单峰分布，无法从完整联合分布中生成联合样本，因此在多峰或生成建模场景中应用受限。