[论文解读] Varying-Coefficient Mixture of Experts Model

Qicheng Zhao, Celia M.T. Greenwood+1 more|arXiv (Cornell University)|Jan 5, 2026

Bayesian Methods and Mixture Models被引用 0

一句话总结

本论文提出了可变系数专家混合模型（VCMoE），其中门控与专家组件中的所有系数均随一个索引变量变化，并在可识别性、带标签的一致性EM估计以及推断工具方面给出方法。它包含理论、仿真以及对单核RNA测序数据的应用。

ABSTRACT

Mixture-of-Experts (MoE) is a flexible framework that combines multiple specialized submodels (``experts''), by assigning covariate-dependent weights (``gating functions'') to each expert, and have been commonly used for analyzing heterogeneous data. Existing statistical MoE formulations typically assume constant coefficients, for covariate effects within the expert or gating models, which can be inadequate for longitudinal, spatial, or other dynamic settings where covariate influences and latent subpopulation structure evolve across a known dimension. We propose a Varying-Coefficient Mixture of Experts (VCMoE) model that allows all coefficient effects in both the gating functions and expert models to vary along an indexing variable. We establish identifiability and consistency of the proposed model, and develop an estimation procedure, label-consistent EM algorithm, for both fully functional and hybrid specifications, along with the corresponding asymptotic distributions of the resulting estimators. For inference, simultaneous confidence bands are constructed using both asymptotic theory for the maximum discrepancy between the estimated functional coefficients and their true counterparts, and with bootstrap methods. In addition, a generalized likelihood ratio test is developed to examine whether a coefficient function is genuinely varying across the index variable. Simulation studies demonstrate good finite-sample performance, with acceptable bias and satisfactory coverage rates. We illustrate the proposed VCMoE model using a dataset of single nucleus gene expression in embryonic mice to characterize the temporal dynamics of the associations between the expression levels of genes Satb2 and Bcl11b across two latent cell subpopulations of neurons, yielding results that are consistent with prior findings.

研究动机与目标

• 在潜在亚群中建模异质性，其中协变量效应随索引变量（如时间或空间）变化，以此为动机。
• 为VCMoE框架建立可识别性与一致性。
• 开发一个与标签一致的EM算法，用于估计门控与专家模型中的变化系数。
• 推导渐近性质并提供同时置信带与假设检验程序。
• 通过仿真和对胚胎小鼠snRNA-seq数据的应用来展示方法。

提出的方法

• 将带协变量相关、随连续索引U变化的门控与专家系数定义为函数。
• 提出一种局部似然（核加权）方法，采用局部线性近似来表示系数函数，得到估计速率为 O_p((nh)^{-1/2}+h^{2})。
• 开发一个标签一致的EM算法，在E步中更新全局分量成员，在M步中跨U值网格局部估计系数函数。
• 引入一个两步程序，在某些效应确实为常数时估算常数系数，以提高效率并实现标准推断。
• 通过似然交叉验证进行带宽选择，并推导估计量的渐近分布（包括偏差与方差），实现同时置信带和假设检验。

实验结果

研究问题

• RQ1 是否可以将MoE框架扩展为使门控和专家模型中所有系数都随索引变量变化？
• RQ2 在温和的正则条件下，VCMoE是否具备可识别性和一致性？
• RQ3 如何在确保跨索引的一致标签的同时高效估计变化系数？
• RQ4 变化系数函数的渐近性质如何，以及如何构建同时置信带和假设检验？
• RQ5 仿真和真实数据是否能体现出准确估计、覆盖率以及亚群的时序/时空动态？

主要发现

• 在较弱的条件下，VCMoE模型具有可识别性，并在给定正则性条件下保持一致性。
• 带局部线性近似的标签一致EM算法能够给出变化系数的一致局部估计，收敛速率为 O_p((nh)^{-1/2}+h^{2})。
• 两步程序允许对在原假设下恒定的系数进行高效估计，保持标准推断性质。
• 该框架支持同时置信带以及多种检验方法（渐近、自举和广义似然比检验）来对变化系数进行推断。
• 仿真研究显示在偏差与覆盖率方面具有良好的有限样本性能；对胚胎小鼠snRNA-seq数据的应用展示了潜在神经亚群的Satb2-Bcl11b关联的时序动态。