[论文解读] Reconciling the Gaussian and Whittle Likelihood with an application to estimation in the frequency domain

Suhasini Subba Rao, Junho Yang|arXiv (Cornell University)|Jan 20, 2020

Complex Systems and Time Series Analysis参考文献 46被引用 7

一句话总结

本文通过使用离散傅里叶变换的双正交变换，推导出高斯似然与Whittle似然之间的精确界限，从而调和了二阶平稳时间序列的高斯似然与Whittle似然。关键贡献在于识别出Whittle似然忽略了观测窗口外的最佳线性预测，导致偏差；这一洞见使得新的频域拟似然准则得以提出，其对谱散度的逼近效果优于高斯似然或Whittle似然，且在模拟中展现出更优的小样本性能。

ABSTRACT

In time series analysis there is an apparent dichotomy between time and frequency domain methods. The aim of this paper is to draw connections between frequency and time domain methods. Our focus will be on reconciling the Gaussian likelihood and the Whittle likelihood. We derive an exact, interpretable, bound between the Gaussian and Whittle likelihood of a second order stationary time series. The derivation is based on obtaining the transformation which is biorthogonal to the discrete Fourier transform of the time series. Such a transformation yields a new decomposition for the inverse of a Toeplitz matrix and enables the representation of the Gaussian likelihood within the frequency domain. We show that the difference between the Gaussian and Whittle likelihood is due to the omission of the best linear predictions outside the domain of observation in the periodogram associated with the Whittle likelihood. Based on this result, we obtain an approximation for the difference between the Gaussian and Whittle likelihoods in terms of the best fitting, finite order autoregressive parameters. These approximations are used to define two new frequency domain quasi-likelihoods criteria. We show that these new criteria can yield a better approximation of the spectral divergence criterion, as compared to both the Gaussian and Whittle likelihoods. In simulations, we show that the proposed estimators have satisfactory finite sample properties.

研究动机与目标

• 解决时间序列估计中高斯似然与Whittle似然之间的理论与实践差异。
• 通过分析观测窗口外最佳线性预测的遗漏，识别Whittle似然偏差的来源。
• 开发新的频域拟似然准则，使其对谱散度准则的逼近效果优于现有方法。
• 通过引入自回归近似预测误差导出的校正项，改进小样本估计性能。
• 提供一种计算高效且在小样本中保持高精度的完整高斯似然替代方法。

提出的方法

• 通过离散傅里叶变换（DFT）的双正交变换，推导出高斯似然与Whittle似然之间的精确界限。
• 通过该双正交变换，提出一种Toeplitz矩阵逆矩阵的新分解方法，实现高斯似然在频域的表示。
• 识别出两种似然之间的差异源于Whittle似然中使用的周期图忽略了观测域外的最佳线性预测。
• 利用有限阶自回归参数近似似然差异，从而改进对谱散度的逼近效果。
• 基于这些近似，提出两种新的频域拟似然准则，计算高效且在小样本中比Whittle或高斯似然更准确。
• 通过在AR(8)模型上进行模拟验证，比较多种估计器的偏差与标准误，包括高斯与非高斯噪声情形。

实验结果

研究问题

• RQ1 对于二阶平稳时间序列，高斯似然与Whittle似然之间的确切数学关系是什么？
• RQ2 Whittle似然为何表现出小样本偏差？与高斯似然相比，其具体缺失了什么成分？
• RQ3 能否系统性地利用自回归模型来近似高斯似然与Whittle似然之间的差异？
• RQ4 所提出的新型拟似然准则是否对谱散度的逼近效果优于高斯似然或Whittle似然？
• RQ5 在小样本中，特别是非高斯噪声下，新估计器的表现如何？

主要发现

• 高斯似然与Whittle似然之间的差异源于Whittle似然中使用的周期图忽略了观测窗口外的最佳线性预测。
• 所提出的新型拟似然准则显著降低了与标准Whittle似然相比的偏差，边界校正的tapered Yule-Walker（BC-tYW）方法的偏差降低程度可与混合方法相媲美。
• 在n=100的高斯AR(8)模型中，BC-tYW方法的均方根误差（RMSE）为7.319，优于Whittle似然（13.280），并接近高斯似然（6.466）。
• 在卡方分布创新项下，BC-tYW方法保持了低偏差（如早期系数偏差为0.001–0.007）与低标准误（0.09–0.12），优于非参数BC-NP方法，后者标准误较高且对调参敏感。
• 基于预测误差自回归近似的新型准则，在频域提供了一种计算简单但更准确的完整高斯似然替代方案。
• 该方法在不同创新分布下表现出稳健性，在小样本中对偏差与RMSE的改进均一致优于标准Whittle与高斯似然。