[论文解读] Simultaneous Missing Value Imputation and Structure Learning with Groups

Pablo Morales-Álvarez, Wenbo Gong+6 more|arXiv (Cornell University)|Oct 15, 2021

Advanced Graph Neural Networks被引用 8

一句话总结

该论文提出VISL，一种深度生成模型，通过变分推断和基于图神经网络（GNN）的解码器，同时在部分观测数据中执行缺失值填补和分组结构学习。它通过结构化潜在空间建模组间关系，在合成数据、半合成数据和真实教育数据集上的填补与结构学习任务中均达到最先进性能。

ABSTRACT

Learning structures between groups of variables from data with missing values is an important task in the real world, yet difficult to solve. One typical scenario is discovering the structure among topics in the education domain to identify learning pathways. Here, the observations are student performances for questions under each topic which contain missing values. However, most existing methods focus on learning structures between a few individual variables from the complete data. In this work, we propose VISL, a novel scalable structure learning approach that can simultaneously infer structures between groups of variables under missing data and perform missing value imputations with deep learning. Particularly, we propose a generative model with a structured latent space and a graph neural network-based architecture, scaling to a large number of variables. Empirically, we conduct extensive experiments on synthetic, semi-synthetic, and real-world education data sets. We show improved performances on both imputation and structure learning accuracy compared to popular and recent approaches.

研究动机与目标

• 为解决在存在缺失值的数据中学习变量组之间结构关系的挑战，特别是在教育等现实应用场景中。
• 开发一种可扩展的方法，联合执行缺失值填补和组级结构学习，而无需完整数据。
• 利用结构化潜在空间和基于GNN的解码器，建模变量组之间的复杂依赖关系。
• 在真实教育数据上评估该方法，其中学生对按主题分组的问题的回答稀疏且不完整。
• 在填补准确率和结构学习保真度方面，证明其性能优于现有方法。

提出的方法

• VISL采用变分自编码器框架，其中全局潜在变量表示结构（邻接矩阵），每个变量组对应局部潜在变量。
• 它使用基于GNN的解码器建模组级潜在表示之间的交互，其中GNN的消息传递机制依赖于推断出的结构。
• 该模型利用变分推断联合优化结构和潜在变量的后验分布，实现在缺失数据下的端到端训练。
• 引入结构化潜在空间，其中每组变量嵌入共享子空间，组间关系由GNN架构调控。
• 通过将观测值建模为潜在变量和全局结构的条件分布，自然地处理缺失数据，避免显式填补步骤。
• 该框架可扩展至大量变量和组，适用于高维现实数据（如教育评估数据）。

实验结果

研究问题

• RQ1 深度生成模型能否在高维、部分观测数据中联合执行缺失值填补和分组结构学习？
• RQ2 将基于GNN的解码器与结构化潜在空间结合，相较于现有方法，如何提升结构学习和填补准确率？
• RQ3 VISL在真实教育数据上的填补和结构学习任务中，相较于最先进基线方法，性能提升程度如何？
• RQ4 VISL在合成和半合成数据集中，对不同缺失程度和组大小异质性的情况，其鲁棒性如何？
• RQ5 VISL学习到的结构能否被教育领域的领域专家有意义地解释？

主要发现

• 在Eedi教育数据集上，VISL在因果结构学习中取得0.615 ± 0.074的最高F1分数，显著优于所有基线方法，包括MMHC（0.471 ± 0.061）和DAG-GNN（0.257 ± 0.066）。
• 在结构学习中，VISL实现0.588 ± 0.042的精确率和0.698 ± 0.052的召回率，表明在真实教育数据上精确率与召回率之间具有良好的平衡。
• 在扩展的合成实验中，VISL在邻接矩阵预测任务中取得0.635 ± 0.049的F1分数，优于所有基线方法，包括强基线MMHC。
• VISL在真实教育数据上表现出卓越的填补性能，能够高精度预测跨主题的未回答学生问题。
• 领域专家验证了所学主题关系，确认VISL发现了有意义且可解释的学习路径，例如基础主题先于高级主题。
• 该模型在不同组大小和缺失程度下均表现出可扩展性和鲁棒性，在结构学习和填补任务中均保持一致的性能提升。