[论文解读] Trimmed Ensemble Kalman Filter for Nonlinear and Non-Gaussian Data Assimilation Problems

Weixuan Li, W. Steven Rosenthal+1 more|arXiv (Cornell University)|Aug 15, 2018

Meteorological Phenomena and Simulations参考文献 9被引用 5

一句话总结

本文提出了一种新型数据同化方法——截断集合卡尔曼滤波器（TEnKF），通过在预报-观测相关性中应用截断函数以去除非高斯异常值，从而提升EnKF在非线性和非高斯场景下的鲁棒性。TEnKF在EnKF与粒子滤波器极限之间实现插值，支持精度与效率之间的自适应权衡，并在Lorenz-63和Lorenz-96模型中展现出优于标准EnKF的收敛性与鲁棒性。

ABSTRACT

We study the ensemble Kalman filter (EnKF) algorithm for sequential data assimilation in a general situation, that is, for nonlinear forecast and measurement models with non-additive and non-Gaussian noises. Such applications traditionally force us to choose between inaccurate Gaussian assumptions that permit efficient algorithms (e.g., EnKF), or more accurate direct sampling methods which scale poorly with dimension (e.g., particle filters, or PF). We introduce a trimmed ensemble Kalman filter (TEnKF) which can interpolate between the limiting distributions of the EnKF and PF to facilitate adaptive control over both accuracy and efficiency. This is achieved by introducing a trimming function that removes non-Gaussian outliers that introduce errors in the correlation between the model and observed forecast, which otherwise prevent the EnKF from proposing accurate forecast updates. We show for specific trimming functions that the TEnKF exactly reproduces the limiting distributions of the EnKF and PF. We also develop an adaptive implementation which provides control of the effective sample size and allows the filter to overcome periods of increased model nonlinearity. This algorithm allow us to demonstrate substantial improvements over the traditional EnKF in convergence and robustness for the nonlinear Lorenz-63 and Lorenz-96 models.

研究动机与目标

• 解决集合卡尔曼滤波器（EnKF）在非线性和非高斯数据同化问题中的局限性，其中高斯假设会导致估计偏差。
• 在高维系统中克服粒子滤波器（PF）计算不可行的问题，同时在非高斯环境下保持精度。
• 通过引入截断机制，构建连接EnKF与PF的框架，实现在其极限分布之间的插值。
• 在模型非线性增强的时期，实现对有效样本量和滤波性能的自适应控制。
• 在Lorenz-63和Lorenz-96等基准非线性动力系统上，展示所提方法在收敛性和鲁棒性方面的改进。

提出的方法

• 引入一种截断函数，用于识别并移除预报-观测交叉相关性中的非高斯异常值，以减少EnKF更新步骤中的偏差。
• 将TEnKF公式化为位移后条件概率密度函数（PDF）的加权平均，其推导基于对极端预报值进行降权处理的修改联合PDF。
• 使用单参数族的截断函数，实现EnKF（高斯近似）与粒子滤波器（精确贝叶斯后验）极限分布之间的平滑插值。
• 实施一种自适应截断策略，根据有效集合大小动态调整截断阈值，以在瞬态非线性期间维持鲁棒性。
• 通过自适应集合增强扩展TEnKF，在模型平稳区间提升效率，并增强对关键状态的采样能力。
• 利用理论基础：对于特定截断函数，TEnKF在非高斯条件下可精确重现EnKF与PF的极限分布。

实验结果

研究问题

• RQ1 是否可以系统性地改进EnKF，以处理强非线性和非高斯噪声，同时避免粒子滤波器带来的计算成本？
• RQ2 EnKF中的截断机制在多大程度上可减少预报-观测相关性中非高斯异常值引起的偏差？
• RQ3 TEnKF是否能够实现在EnKF与粒子滤波器极限分布之间的插值，从而实现计算效率与估计精度之间的可调平衡？
• RQ4 自适应截断与有效样本量控制在Lorenz-96等高维非线性系统中如何提升鲁棒性？
• RQ5 在TEnKF框架内，自适应集合增强是否能提升低非线性时期下的效率与收敛性？

主要发现

• 在随机Lorenz-63模型中，TEnKF成功恢复了标准EnKF失效时的真实后验收敛性，验证了其在非线性、非高斯问题中的有效性。
• 对于特定截断函数，TEnKF在非高斯条件下可精确重现EnKF与采用重采样技术的粒子滤波器的极限分布，验证了其理论基础。
• 在36维Lorenz-96模型中，TEnKF在非高斯噪声与强非线性条件下，相较于标准EnKF，显著提升了鲁棒性与收敛性。
• 对截断函数与有效集合大小的自适应控制，使TEnKF能够动态响应模型非线性的变化，在瞬态非线性阶段保持性能。
• 自适应集合增强的集成显著提升了平稳阶段的计算效率，同时未牺牲精度。
• 该方法提供了一个灵活的框架，可进一步结合重要性采样或导向方法等技术，以进一步增大有效集合大小并减小非高斯异常值的影响。