[论文解读] On Parameter Estimation of the Hidden Gaussian Process in perturbed SDE

Yury A. Kutoyants, Li Zhou|arXiv (Cornell University)|Apr 22, 2019

Target Tracking and Data Fusion in Sensor Networks参考文献 20被引用 4

一句话总结

本文提出了一类用于扰动线性SDE系统中隐藏高斯过程参数的一步MLE-过程估计器，利用卡尔曼-布齐滤波和小噪声渐近分析。这些估计器在渐近效率、正态性和一致性方面与MLE具有相同性质，但计算更简单，仅依赖于初始观测的初步估计器和使用得分函数的单步校正。

ABSTRACT

We present results on parameter estimation and non-parameter estimation of the linear partially observed Gaussian system of stochastic differential equations. We propose new one-step estimators which have the same asymptotic properties as the MLE, but much more simple to calculate, the estimators are so-called "estimator-processes". The construction of the estimators is based on the equations of Kalman-Bucy filtration and the asymptotic corresponds to the small noises in the observations and state (hidden process) equations. We propose conditions which provide the consistency and asymptotic normality and asymptotic efficiency of the estimators.

研究动机与目标

• 为具有隐藏高斯过程的部分观测线性SDE开发计算高效的估计器，其渐近性质与MLE相同。
• 解决标准MLE和贝叶斯估计器的高计算成本问题，这些方法需要对所有参数值求解复杂的似然比函数。
• 构建估计器-过程，以在小噪声条件下提供具有保证渐近效率和正态性的时变参数估计。
• 建立在小噪声极限下，所提一步估计器的一致性、渐近正态性和效率的充分条件。

提出的方法

• 采用两步程序：首先，从一个较小的初始区间 $[0, \tau_{\varepsilon}]$ 中获得初步估计器 $\bar{\vartheta}_{\tau_{\varepsilon}}$，其中 $\tau_{\varepsilon} = \varepsilon^{\delta}$，$\delta \in (0, 2/3)$。
• 通过在 $[\tau_{\varepsilon}, t]$ 上使用得分函数对初步估计器进行校正，构建一步MLE $\vartheta_{t,\varepsilon}^{*}$。
• 利用卡尔曼-布齐滤波方程计算条件期望 $m(\vartheta, t)$ 和条件方差 $\gamma(\vartheta, t)$，这些是得分函数的关键组成部分。
• 应用一步MLE结构：$\vartheta_{t,\varepsilon}^{*} = \bar{\vartheta}_{\tau_{\varepsilon}} + I_{\tau_{\varepsilon}}^{-1} \int_{\tau_{\varepsilon}}^{t} \frac{\dot{M}}{\sigma^2} \left[ dX_s - f m \, ds \right]$，其中 $M$ 是得分函数。
• 确保估计器在 $\varepsilon \to 0$ 时渐近有效且服从正态分布，其方差为 $I(\vartheta_0)^{-1}$，与MLE一致。
• 通过将观测区间分段并在满足导数条件 $|\dot{f}(\vartheta,0)| > 0$ 或 $|\dot{a}(\vartheta,0)| > 0$ 的子区间上应用滤波，处理非正则情形。

实验结果

研究问题

• RQ1 能否构造一种计算高效的估计器，使其在部分观测线性SDE中具有隐藏高斯过程时，其渐近性质与MLE一致？
• RQ2 在小噪声极限下，什么条件能确保一步MLE-过程估计器的一致性和渐近正态性？
• RQ3 当初始导数条件 $|\dot{f}(\vartheta,0)| > 0$ 或 $|\dot{a}(\vartheta,0)| > 0$ 不满足时，如何对一步MLE进行适应性调整？
• RQ4 学习区间长度 $\tau_{\varepsilon} = \varepsilon^{\delta}$ 的最优选择是什么，以最小化初步估计器的估计误差？
• RQ5 一步MLE-过程能否推广到多维参数和观测过程？

主要发现

• 一步MLE-过程 $\vartheta_{t,\varepsilon}^{*}$ 达到了与MLE相同的渐近分布：当 $\varepsilon \to 0$ 时，$\frac{\vartheta_{t,\varepsilon}^{*} - \vartheta_0}{\varepsilon} \Rightarrow \mathcal{N}(0, I(\vartheta_0)^{-1})$。
• 初步估计器 $\bar{\vartheta}_{\tau_{\varepsilon}}$ 在 $\delta \in (0, 2/3)$ 时一致，最优 $\delta = 2/5$ 可使均方误差 $C(\varepsilon^{2\delta} + \varepsilon^{2-3\delta})$ 最小化。
• 估计器渐近有效，达到Cramér-Rao下界，并继承与MLE相同的费舍尔信息结构。
• 该构造依赖于 $m(\vartheta,t)$ 和 $\gamma(\vartheta,t)$ 的卡尔曼-布齐滤波方程，从而实现得分函数的可计算性。
• 当 $|\dot{f}(\vartheta,0)| = 0$ 且 $|\dot{a}(\vartheta,0)| = 0$ 时，该方法通过将区间分段并在满足导数条件的子区间上应用滤波实现自适应调整。
• 对于多维 $\vartheta$，当 $k \geq d$ 个观测过程可用时，该方法可扩展，从而保证可辨识性和一致估计。