[论文解读] regsem: Regularized Structural Equation Modeling

Ross Jacobucci|arXiv (Cornell University)|Mar 24, 2017

Advanced Statistical Modeling Techniques参考文献 19被引用 11

一句话总结

本文介紹了 regsem，一個 R 套件，實現了正則化結構方程模型（RegSEM），透過套用 ridge 和 lasso 應用於小樣本 SEM 的模型複雜度降低。透過將懲罰似然估計整合至 SEM 中，regsem 提升了參數估計的準確性，並降低了假陽性率，特別是在參數與樣本大小比例較低時效果顯著。

ABSTRACT

The regsem package in R, an implementation of regularized structural equation modeling (RegSEM; Jacobucci, Grimm, and McArdle 2016), was recently developed with the goal of incorporating various forms of penalized likelihood estimation in a broad array of structural equations models. The forms of regularization include both the ridge (Hoerl and Kennard 1970) and the least absolute shrinkage and selection operator (lasso; Tibshirani 1996), along with sparser extensions. RegSEM is particularly useful for structural equation models that have a small parameter to sample size ratio, as the addition of penalties can reduce the complexity, thus reducing the bias of the parameter estimates. The paper covers the algorithmic details and an overview of the use of regsem with the application of both factor analysis and latent growth curve models.

研究动机与目标

• 解決結構方程模型（SEM）中參數與樣本大小比例過高的挑戰，此問題會導致估計偏誤與收斂問題。
• 透過套用正則化技術來降低小樣本 SEM 的模型複雜度，以提升估計準確性。
• 提供一個通用的 R 套件（regsem），支援多種 SEM 類型的正則化，包括探索性因素分析與潛在成長曲線模型。
• 讓研究人員能在保留模型結構與可解釋性的前提下，對潛在變數模型執行變數選擇與收縮。
• 促進在擁有大量觀測變數與潛在變數的大型 SEM 中使用正則化，特別是在傳統最大概似估計因樣本數小而失效時。

提出的方法

• 透過在傳統最大概似估計（MLE）中加入參數懲罰函數，來實現正則化結構方程模型（RegSEM）。
• 套用 lasso（L1-範數）與 ridge（L2-範數）懲罰，將迴歸係數收縮至零，其中 lasso 可透過將部分係數精確設為零來實現變數選擇。
• 將 RegSEM 的目標函數公式化為 F_regsem = F_ML + λ × P(·)，其中 P(·) 是針對所選參數（例如成長模型中的迴歸路徑）的懲罰函數。
• 使用近端梯度下降法進行最佳化，此方法能處理 lasso 懲罰的不可微性，並在複雜 SEM 中實現收斂。
• 透過 regsem R 套件支援多種 SEM 模型，包括驗證性因素分析、潛在成長曲線模型與潛在變異分數模型。
• 引入能促進稀疏性的懲罰，以降低過度配適並提升模型的簡潔性，特別是在高維度設定且樣本數小的情境下。

实验结果

研究问题

• RQ1 與傳統最大概似估計相比，正則化 SEM（RegSEM）在小樣本結構方程模型中如何提升參數估計的準確性？
• RQ2 ridge 與 lasso 懲罰在參數與樣本大小比例低的 SEM 中，能在多大程度上降低假陽性與假陰性率？
• RQ3 RegSEM 是否能有效執行潛在變數模型的變數選擇，而不損及模型結構或可解釋性？
• RQ4 regsem R 套件如何支援在小樣本條件下對擁有大量潛在與觀測變數的複雜 SEM 進行估計？
• RQ5 在高維度 SEM 中套用正則化時，會遇到哪些計算與收斂挑戰，又該如何緩解？

主要发现

• 在小樣本（N=80）且含 29 個參數的模擬資料中，RegSEM 相較於最大概似估計，顯著降低了假陽性與假陰性率。
• regsem 中的 lasso 懲罰成功將部分迴歸係數驅動至零，進而實現對擁有十個預測變數之成長曲線模型的有效變數選擇。
• regsem 套件可在標準筆電上於數秒內估計含最多 40 個懲罰項的複雜 SEM，顯示其對中等規模模型的計算可行性。
• 正則化降低了模型複雜度，並改善了參數與樣本大小比例低的模型之估計偏誤，特別是在 N < 10p 時效果顯著。
• 近端梯度下降法成功實現了含不可微 lasso 懲罰之模型的收斂，克服了傳統 SEM 最佳化演算法的限制。
• 未來 regsem 的改進方向可能包括引入座標下降演算法與重採樣方法（如 k 折交叉驗證），以更有效地選擇最佳正則化參數。