[论文解读] On the Identifiability of Latent Models for Dependent Data

Stéphane Guerrier, Roberto Molinari|arXiv (Cornell University)|Jul 20, 2016

Statistical Methods and Inference参考文献 10被引用 5

一句话总结

本文證明了一大類二階平穩潛變數時間序列與空間模型的可識別性——這些模型定義為自迴歸、移動平均與隨機漫步等基礎過程的總和——透過證明模型參數至其自 covariance 或譜密度函數之映射為單射（injective）。主要貢獻在於顯示極值估計法（包括 MLE、GMM 與 GMWM）在極少條件下即具備一致性，其中 GMWM 尤其獨特地能處理內生平穩模型。

ABSTRACT

The condition of parameter identifiability is essential for the consistency of all estimators and is often challenging to prove. As a consequence, this condition is often assumed for simplicity although this may not be straightforward to assume for a variety of model settings. In this paper we deal with a particular class of models that we refer to as "latent" models which can be defined as models made by the sum of underlying models, such as a variety of linear state-space models for time series. These models are of great importance in many fields, from ecology to engineering, and in this paper we prove the identifiability of a wide class of (second-order stationary) latent time series and spatial models and discuss what this implies for some extremum estimators, thereby reducing the conditions for their consistency to some very basic regularity conditions. Finally, a specific focus is given to the Generalized Method of Wavelet Moments estimator which is also able to estimate intrinsically second-order stationary models.

研究动机与目标

• 解決依賴資料潛變數模型中長期存在的參數可識別性問題，其中參數常被假設可識別卻缺乏證明。
• 將可識別性結果從標準 ARMA 模型推廣至更靈活的潛變數結構，其由基礎過程（如 AR、MA、隨機漫步）之和組成。
• 證明自 covariance 或譜密度函數的可識別性可導致 MLE、GMM 與 GMWM 等極值估計法的一致性。
• 探討廣義小波矩法（GMWM）估計法在內生平穩模型（如具漂移或隨機漫步者）中的適用性。
• 提供理論基礎，支持生態學、工程學與計量經濟學等領域中潛變數模型的廣泛應用，並驗證其可識別性。

提出的方法

• 證明潛變數時間序列模型（由 (T1)–(T6) 類過程組成）中，參數至自 covariance 函數 Σ(θ) 之映射具有單射性。
• 在規則條件下，證明參數至譜密度函數 ν(θ) 之映射具備單射性，從而確保透過二階結構實現可識別性。
• 利用雅可比矩陣 A(θ) = ∂ν(θ)/∂θ 來評估其是否具有滿列秩，此為單射性與可識別性的必要條件。
• 應用極值估計理論（Newey 和 McFadden, 1994），顯示可識別性可降低 MLE、GMM 與 GMWM 估計法的一致性條件。
• 透過證明空間過程（S1）與（S2）之和的參數至譜密度函數映射具備單射性，將結果延伸至空間模型。
• 透過 GMM 與 GMWM 估計法對兩個潛變數模型（一個可識別，一個可能不可識別）進行數值模擬，以實證驗證理論結果。

实验结果

研究问题

• RQ1 在何種條件下，參數向量 θ 可由潛變數時間序列模型的二階結構（自 covariance 或譜密度）唯一還原？
• RQ2 能否透過參數至譜密度函數映射的單射性，來確立由多種基礎過程（如 AR、MA、隨機漫步）組成之潛變數模型的可識別性？
• RQ3 當透過自 covariance 或譜密度結構建立可識別性時，MLE 與 GMM 估計法的一致性條件可降低至何等程度？
• RQ4 GMWM 估計法是否能一致地估計包含非平穩、內生平穩過程（如漂移、隨機漫步）之潛變數模型的參數？其表現與 GMM 相較如何？
• RQ5 不同組合之組成過程（如以隨機漫步取代 AR(1)）之潛變數模型，在可識別性上是否存在結構差異？

主要发现

• 對於由 (T1)–(T6) 類過程組成之廣泛類別的二階平穩潛變數時間序列模型，參數至譜密度函數 ν(θ) 之映射具備單射性，確保可識別性。
• 對於由 (T1)、(T2) 與 (T6) 類過程組成之潛變數模型，雅可比矩陣 A(θ) = ∂ν(θ)/∂θ 具備滿列秩，於規則條件下確認可識別性。
• 數值範例顯示，對於潛變數模型 1（含 (T1)、(T2)、(T6)），GMM 與 GMWM 估計法之均方誤差（MSE）隨樣本大小增加而單調遞減，顯示其一致性。
• 對於潛變數模型 2（以 (T5) 取代 (T2)），GMWM 的 MSE 並未單調下降，且 GMM 達到下界，顯示可能存在不可識別性問題。
• 結果支持此一假設：包含 (T5) 類過程之模型可能因譜密度函數結構相似，導致不可識別。
• GMWM 估計法被證明適用於內生平穩模型（如具漂移或隨機漫步者），從而將其應用範圍擴展至嚴格平穩過程之外。