[论文解读] Robust Model Selection for Discovery of Latent Mechanistic Processes

Jiawei Li, Nguyen Nguyen+3 more|arXiv (Cornell University)|Feb 25, 2026

Generative Adversarial Networks and Image Synthesis被引用 0

一句话总结

本文提出 ACDC，一种将基于似然的灵敏度与非参数鲁棒性相结合的鲁棒模型选择准则，能够在模型错设下正确识别潜在机械过程的数量，并具有理论保证与实证演示。

ABSTRACT

When learning interpretable latent structures using model-based approaches, even small deviations from modeling assumptions can lead to inferential results that are not mechanistically meaningful. In this work, we consider latent structures that consist of $K_o$ mechanistic processes, where $K_o$ is unknown. When the model is misspecified, likelihood-based model selection methods can substantially overestimate $K_o$ while more robust nonparametric methods can be overly conservative. Hence, there is a need for approaches that combine the sensitivity of likelihood-based methods with the robustness of nonparametric ones. We formalize this objective in terms of a robust model selection consistency property, which is based on a component-level discrepancy measure that captures the mechanistic structure of the model. We then propose the accumulated cutoff discrepancy criterion (ACDC), which leverages plug-in estimates of component-level discrepancies. To apply ACDC, we develop mechanistically meaningful component-level discrepancies for a general class of latent variable models that includes unsupervised and supervised variants of probabilistic matrix factorization and mixture modeling. We show that ACDC is robustly consistent when applied to unsupervised matrix factorization and mixture models. Numerical results demonstrate that in practice our approach reliably identifies a mechanistically meaningful number of latent processes in numerous illustrative applications, outperforming existing methods.

研究动机与目标

• 定义鲁棒模型选择的一致性，以捕捉可 identifiability 与错设的担忧。
• 提出累积截断不一致性准则（ACDC）作为一个插件鲁棒模型选择方法。
• 展示如何将 ACDC 应用于潜变量模型，包括混合模型和概率矩阵分解（PMF）。
• 证明混合模型与 PMF 变体的鲁棒模型选择一致性。
• 通过仿真和真实数据演示 ACDC 在识别具有机理意义的潜在过程方面优于现有方法。

提出的方法

• 通过在给定数据的条件噪声分布与假设噪声分布之间的差异，形式化分量级别的不一致性。
• 定义最坏情况的分量级不一致性 rho(Po,K0)，并使用经验分布的插件估计量。
• 引入 ACDC 损失：R^rho = sum_{k=1}^K max(0, D_comp^{(K,k)} - rho)，并通过最小化 R^rho 来选择 K。
• 提供一种将 D_comp^{(K,k)} 使用经验噪声分布与观测数据来估计的实际过程。
• 讨论诸如 KL 发散、Wasserstein 距离或 MMD 等不一致性度量的选择及相应的鲁棒一致性结果。
• 概述通过领域知识、仿真标定和基于稳定性的自动选择来选择 rho 的方法。

实验结果

研究问题

• RQ1 如何在潜在结构错设的情况下，实现鲁棒且可靠的模型选择？
• RQ2 一个基于插件的、不对称的度量准则是否能够在广义潜变量模型类中识别真实的潜在过程数量？
• RQ3 对于混合模型和类似 PMF 的模型，所提出的鲁棒准则有哪些理论保证（一致性）？
• RQ4 在实际应用中，与传统准则（如 BIC）和非参数替代方法相比，ACDC 的表现如何？
• RQ5 在跨数据集的实践中，rho 应如何选择或校准？

主要发现

• ACDC 在 KL、Wasserstein 或 MMD 不一致性下，给出对混合模型的 k-鲁棒一致性。
• ACDC 在低维和高维仿真中均优于拐点、轮廓系数与间隙等标准，在 MAE 与 0-1 损失方面表现更优。
• 该方法在使用单细胞 RNA 测序数据的细胞发现任务中达到最先进的性能。
• 一种插件方法使得通过经验分布和标准参数估计（如 EM）进行实际计算成为可能。
• 该框架支持对 PMF 及其他潜变量模型的有监督变体的鲁棒性应用，超越简单的混合模型。