[论文解读] Structural Equation Models as Computation Graphs

Erik–Jan van Kesteren, Daniel L. Oberski|arXiv (Cornell University)|Oct 16, 2019

Mental Health Research Topics参考文献 65被引用 7

一句话总结

本文提出将结构方程模型（SEMs）表示为计算图——借鉴深度学习方法——以简化高级SEM技术的开发。通过利用自动微分和现代优化器，该方法实现了灵活、可扩展的建模，无需重写优化代码，从而加速了惩罚、高维及多源SEM应用的创新。

ABSTRACT

Structural equation modeling (SEM) is a popular tool in the social and behavioural sciences, where it is being applied to ever more complex data types. The high-dimensional data produced by modern sensors, brain images, or (epi)genetic measurements require variable selection using parameter penalization; experimental models combining disparate data sources benefit from regularization to obtain a stable result; and genomic SEM or network models lead to alternative objective functions. With each proposed extension, researchers currently have to completely reformulate SEM and its optimization algorithm -- a challenging and time-consuming task. In this talk, I consider each SEM as a computation graph, a flexible method of specifying objective functions borrowed from the field of deep learning. When combined with state-of-the-art optimizers, our computation graph approach can extend SEM without the need for bespoke software development. I show that both existing and novel SEM improvements follow naturally from our approach. To demonstrate, I discuss least absolute deviation estimation and penalized SEM. By applying computation graphs to SEM, we hope to greatly accelerate the process of developing SEM techniques, paving the way for new applications.

研究动机与目标

• 研究人员在将结构方程模型（SEMs）扩展至现代高维数据时面临重大挑战，原因在于需要定制优化算法。
• 现有的SEMs扩展方法——如惩罚估计或多模态数据整合——需要专门的软件开发，从而延缓了方法论的创新。
• 亟需一种可推广、可扩展的框架，将模型定义与优化解耦，以加速SEMs的开发。
• 目标是将多种SEMs扩展统一于单一计算框架下，支持灵活的目标函数与优化策略。
• 目标是使研究人员能够在无需低水平算法重实现的情况下，实现新型SEMs技术（如最小绝对偏差或基于网络的模型）。

提出的方法

• 本文将SEMs建模为计算图，其中每个参数和目标函数组件均表示为具有可微操作的节点。
• 利用自动微分计算梯度以供优化，消除了手动推导得分函数的需要。
• 将标准深度学习优化器（如Adam、SGD）应用于计算图，以高效训练SEMs。
• 惩罚项（如L1、L2）和替代损失函数（如最小绝对偏差）可自然地集成到图结构中。
• 通过将联合似然或损失表示为复合计算图，该框架支持混合模型，整合不同数据源。
• 通过模块化图构建，该方法可实现新估计方法和正则化方案的即插即用式集成。

实验结果

研究问题

• RQ1 计算图能否作为指定多样化SEMs目标函数的通用抽象？
• RQ2 与传统实现相比，计算图方法在开发新型SEMs扩展时，能否显著降低开发开销？
• RQ3 标准深度学习优化器在训练具有复杂、非高斯或惩罚似然的SEMs时，其有效性如何？
• RQ4 该框架能否自然支持如SEMs中的最小绝对偏差等新型估计方法？
• RQ5 该方法在无需定制优化代码的情况下，如何促进SEMs中多源或高维数据的整合？

主要发现

• 计算图抽象使研究人员能够在不实现自定义优化例程的情况下，指定复杂的SEMs——包括惩罚和替代目标函数。
• 通过框架的自动微分和标准优化器，使用L1正则化的惩罚SEMs可被高效实现和优化。
• 通过目标函数的基于图的公式化，SEMs中的最小绝对偏差估计可自然支持。
• 该框架通过将联合似然表示为可微计算图，实现了异质数据源在SEMs中的无缝整合。
• 该方法显著减少了原型设计和部署新型SEMs技术所需的时间与精力，加速了方法论创新。
• 现有及新型SEMs扩展均可自然地从该框架中导出，证明了其通用性与可扩展性。