[论文解读] Neural Clustering Processes

Ari Pakman, Yueqi Wang+3 more|arXiv (Cornell University)|Dec 28, 2018

Neural Networks and Applications参考文献 86被引用 6

一句话总结

本文提出了神经聚类过程（NCP），一种深度学习框架，可在混合模型中实现对离散潜变量的快速、摊销后验推断。通过在生成模型的标注数据上训练神经网络，NCP 仅需 O(N) 或 O(K) 次前向传播即可为新数据集生成聚类分配的近似后验样本，支持非参数贝叶斯模型，并在神经元放电波形分离和粒子追踪应用中，其速度和精度均优于 MCMC 和变分推断方法。

ABSTRACT

Probabilistic clustering models (or equivalently, mixture models) are basic building blocks in countless statistical models and involve latent random variables over discrete spaces. For these models, posterior inference methods can be inaccurate and/or very slow. In this work we introduce deep network architectures trained with labeled samples from any generative model of clustered datasets. At test time, the networks generate approximate posterior samples of cluster labels for any new dataset of arbitrary size. We develop two complementary approaches to this task, requiring either O(N) or O(K) network forward passes per dataset, where N is the dataset size and K the number of clusters. Unlike previous approaches, our methods sample the labels of all the data points from a well-defined posterior, and can learn nonparametric Bayesian posteriors since they do not limit the number of mixture components. As a scientific application, we present a novel approach to neural spike sorting for high-density multielectrode arrays.

研究动机与目标

• 开发一种适用于概率聚类模型中离散潜变量的可扩展、摊销推断方法。
• 为任意大小的数据集实现后验采样，具有明确定义的不确定性，避免 MCMC 方法的缓慢收敛。
• 支持无需预先固定聚类数量的非参数贝叶斯模型（如狄利克雷过程混合模型）。
• 将该方法应用于神经元放电波形分离和粒子追踪等真实世界科学问题。
• 实现高速推断，通过可并行化的前向传播完成，不同于顺序的 MCMC 方法。

提出的方法

• 该方法采用混合后验的两种互补扩展：一种基于充分统计量，另一种基于聚类分配上的条件因子乘积。
• 使用排列等变的分布式表示，通过神经网络参数化条件因子，以尊重离散聚类标签的对称性。
• 网络架构采用可学习函数 h(x)、u(x)、g(H) 和 f(G,U)，用于计算聚类统计量和分配概率。
• 在粒子追踪中引入时间衰减机制，以加权过去和未来的观测，实现动态聚类追踪。
• 通过 Adam 优化的随机梯度下降进行训练，利用生成模型的标注数据来优化网络参数。
• 测试时的推断仅需每数据集 O(N) 或 O(K) 次前向传播，支持快速、并行的聚类标签采样。

实验结果

研究问题

• RQ1 能否训练深度神经网络，以在混合模型中对离散潜变量执行摊销后验推断？
• RQ2 该方法能否处理聚类数量未知且可变的非参数贝叶斯模型？
• RQ3 该方法能否实现高精度的后验采样，且显著快于 MCMC，同时保持明确定义的不确定性？
• RQ4 该方法能否应用于神经元放电波形分离和粒子追踪等真实世界科学问题？
• RQ5 该网络能否在不重新训练的情况下泛化到任意大小的数据集？

主要发现

• 在高密度多电极阵列上的神经元放电波形分离任务中，NCP 表现更优，成功恢复了 20 个真实模板中的 13 个，而 Kilosort 和 vGMFM 分别仅恢复 8 个和 6 个。
• 在真实数据中，NCP 和 Kilosort 检测到的具有感受野的神经元数量相近，但 NCP 还检测到了更多峰值-峰值振幅较小的神经元。
• 在粒子追踪任务中，NCP 有效重建了在任意时间点可能出现或消失的粒子的时间轨迹，即使在观测序列模糊不清的情况下也能成功处理。
• 该方法每数据集仅需 O(N) 或 O(K) 次前向传播，实现了快速、并行的推断，无需迭代的 MCMC 采样。
• NCP 在处理共轭与非共轭模型时均表现出鲁棒性，且无需预先固定混合成分数量即可学习后验分布。
• 消融实验表明，时间衰减机制通过加权时间接近度提升了追踪精度，尤其在噪声较大或观测稀疏的场景下效果显著。