[论文解读] Recurrent Kalman Networks: Factorized Inference in High-Dimensional Deep Feature Spaces

Philipp Becker, Harit Pandya+4 more|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2019

Neural Networks and Applications被引用 30

一句话总结

本文提出循环卡尔曼网络（RKNs），一种新颖的深度学习架构，通过端到端反向传播将卡尔曼滤波与不确定性感知的时间序列建模相结合。通过将潜在状态分解为标量运算并使用局部线性动力学，RKNs 避免了计算量大的矩阵求逆，相较于LSTM、GRU以及近期的生成模型，在图像补全任务中实现了更精确的不确定性估计，同时提升了预测性能。

ABSTRACT

In order to integrate uncertainty estimates into deep time-series modelling, Kalman Filters (KFs) (Kalman et al., 1960) have been integrated with deep learning models, however, such approaches typically rely on approximate inference techniques such as variational inference which makes learning more complex and often less scalable due to approximation errors. We propose a new deep approach to Kalman filtering which can be learned directly in an end-to-end manner using backpropagation without additional approximations. Our approach uses a high-dimensional factorized latent state representation for which the Kalman updates simplify to scalar operations and thus avoids hard to backpropagate, computationally heavy and potentially unstable matrix inversions. Moreover, we use locally linear dynamic models to efficiently propagate the latent state to the next time step. The resulting network architecture, which we call Recurrent Kalman Network (RKN), can be used for any time-series data, similar to a LSTM (Hochreiter & Schmidhuber, 1997) but uses an explicit representation of uncertainty. As shown by our experiments, the RKN obtains much more accurate uncertainty estimates than an LSTM or Gated Recurrent Units (GRUs) (Cho et al., 2014) while also showing a slightly improved prediction performance and outperforms various recent generative models on an image imputation task.

研究动机与目标

• 解决深度卡尔曼滤波中近似推理（如变分推理）的局限性，后者使学习复杂化并降低可扩展性。
• 通过分解的潜在状态表示避免矩阵求逆，实现卡尔曼滤波的端到端反向传播训练。
• 在不牺牲预测精度的前提下，改进深度时间序列模型中的不确定性估计。
• 在高维深度特征空间中，开发一种可扩展且稳定的传统卡尔曼滤波替代方案。

提出的方法

• RKN 使用高维分解的潜在状态，使卡尔曼更新简化为标量运算，从而简化反向传播并避免不稳定的矩阵求逆。
• 采用局部线性动态模型，高效地向前传播潜在状态，降低计算复杂度。
• 通过反向传播实现端到端训练，直接优化卡尔曼滤波参数，无需近似技术。
• 该架构设计为兼容任意时间序列数据，类似于LSTM，但具有显式的不确定性表示。
• 分解的状态表示允许使用标量运算高效计算均值和协方差更新。
• 该模型将深度特征提取与结构化不确定性传播相结合，实现在高维空间中的鲁棒推理。

实验结果

研究问题

• RQ1 卡尔曼滤波能否在不依赖变分推理或近似方法的前提下，集成到深度学习模型中并实现端到端可微训练？
• RQ2 分解的潜在状态表示在高维深度特征空间中对卡尔曼滤波的稳定性与可扩展性有何影响？
• RQ3 所提出的RKN架构在时间序列建模中是否能提供比标准RNN（如LSTM和GRU）更精确的不确定性估计？
• RQ4 与最先进生成模型相比，RKN在图像补全等生成任务中的表现如何？
• RQ5 使用局部线性动力学是否能提升深度时间序列模型中状态传播的效率与准确性？

主要发现

• 在时间序列预测任务中，RKN 相较于 LSTM 和 GRU 显著提升了不确定性估计的准确性，证明了其预测不确定性的优越校准能力。
• 与标准RNN相比，该模型在预测性能上略有提升，表明不确定性感知学习可增强整体准确性。
• 在图像补全任务中，RKN 超过了多种近期的生成模型，凸显其在结构化生成与不确定性建模方面的有效性。
• 分解的状态表示通过将矩阵求逆替换为标量运算，实现了稳定且高效的反向传播，提升了训练稳定性。
• 端到端可微设计允许直接优化卡尔曼滤波参数，无需使用变分推理等近似技术。