[论文解读] Streaming Adaptive Nonparametric Variational Autoencoder

Tingting Zhao, Zifeng Wang+2 more|arXiv (Cornell University)|Jun 7, 2019

Bayesian Methods and Mixture Models参考文献 37被引用 4

一句话总结

该论文提出AdapVAE，一种流式自适应非参数变分自编码器，可对数据流进行端到端特征学习与聚类。通过结合贝叶斯非参数建模与深度神经网络，并采用联合在线变分推断算法，AdapVAE能够动态检测新簇，通过生成式回放避免灾难性遗忘，在图像与文本基准数据集上的聚类性能与批处理方法相当。

ABSTRACT

We develop a data driven approach to perform clustering and end-to-end feature learning simultaneously for streaming data that can adaptively detect novel clusters in emerging data. Our approach, Adaptive Nonparametric Variational Autoencoder (AdapVAE), learns the cluster membership through a Bayesian Nonparametric (BNP) modeling framework with Deep Neural Networks (DNNs) for feature learning. We develop a joint online variational inference algorithm to learn feature representations and clustering assignments simultaneously via iteratively optimizing the Evidence Lower Bound (ELBO). We resolve the catastrophic forgetting \citep{kirkpatrick2017overcoming} challenges with streaming data by adopting generative samples from the trained AdapVAE using previous data, which avoids the need of storing and reusing past data. We demonstrate the advantages of our model including adaptive novel cluster detection without discarding useful information learned from past data, high quality sample generation and comparable clustering performance as end-to-end batch mode clustering methods on both image and text corpora benchmark datasets.

研究动机与目标

• 解决在不存储或重新访问过去数据的情况下对流式数据进行聚类的挑战。
• 开发一种在线、增量的聚类方法，能够在新数据到达时动态检测新簇。
• 在流式数据的持续学习过程中，克服深度神经网络中的灾难性遗忘问题。
• 使用深度生成模型实现端到端的特征学习与聚类，而无需预设簇的数量。
• 在保持对演化数据分布适应能力的同时，实现与批处理模式下的最先进方法相当的聚类性能。

提出的方法

• 将深度神经网络（DNNs）与贝叶斯非参数（BNP）模型结合，联合学习潜在表征与簇成员关系。
• 采用联合在线变分推断算法，优化证据下界（ELBO），实现特征学习与聚类分配的同时优化。
• 利用先前训练的AdapVAE生成的样本模拟历史数据，避免存储和重新处理历史数据，从而缓解灾难性遗忘。
• 采用受Hughes和Sudderth（2013）启发的出生-合并策略，当新数据表明存在新结构时，动态扩展簇的数量。
• 通过子采样与变分推断，在缓存的高概率样本上拟合狄利克雷过程混合模型（DPMM），以检测潜在的新簇。
• 在小批量数据上执行局部与全局参数更新，以保持模型一致性并提升增量学习过程中的ELBO。

实验结果

研究问题

• RQ1 我们能否在不存储过去数据的情况下，在流式设置中同时实现端到端的聚类与特征学习？
• RQ2 该模型能否在不预先知晓簇总数的情况下，对新数据进行增量适应并检测新簇？
• RQ3 在流式数据的持续学习过程中，如何防止深度神经网络中的灾难性遗忘？
• RQ4 该模型能否在动态扩展簇容量的同时，维持与批处理方法相当的聚类准确率？
• RQ5 所提出的在线变分推断与生成式回放策略在保留过去知识与检测新簇结构方面的有效性如何？

主要发现

• AdapVAE在图像与文本基准数据集上的聚类性能与最先进批处理方法相当，以ARI、V-measure与同质性得分衡量。
• 该模型在不依赖簇数量先验知识的情况下，成功检测到流式数据中的新簇，展现出自适应可扩展性。
• 使用训练后AdapVAE生成的样本进行生成式回放，能有效缓解灾难性遗忘，保持对先前学习簇的性能。
• 出生-合并策略实现了簇的动态扩展，模型能基于数据分布变化识别并整合新簇。
• 联合在线变分推断算法在流式小批量数据中保持了稳定的ELBO优化，确保收敛性与模型稳定性。
• 在基准数据集上，AdapVAE实现了高ARI（如MNIST上达0.85以上）与V-measure得分，表明与真实聚类高度一致。