[论文解读] Online Learned Continual Compression with Adaptive Quantization Modules

Lucas Caccia, Eugene Belilovsky+2 more|arXiv (Cornell University)|Nov 19, 2019

Domain Adaptation and Few-Shot Learning参考文献 14被引用 38

一句话总结

本文提出 Online Continual Compression (OCC)，基于 VQ-VAE 构建的 Adaptive Quantization Modules (AQM) 来在固定内存中压缩并存储非独立同分布数据流，同时确保先前表示可被未来解码器解码，并实现跨任务的在线学习。

ABSTRACT

We introduce and study the problem of Online Continual Compression, where one attempts to simultaneously learn to compress and store a representative dataset from a non i.i.d data stream, while only observing each sample once. A naive application of auto-encoders in this setting encounters a major challenge: representations derived from earlier encoder states must be usable by later decoder states. We show how to use discrete auto-encoders to effectively address this challenge and introduce Adaptive Quantization Modules (AQM) to control variation in the compression ability of the module at any given stage of learning. This enables selecting an appropriate compression for incoming samples, while taking into account overall memory constraints and current progress of the learned compression. Unlike previous methods, our approach does not require any pretraining, even on challenging datasets. We show that using AQM to replace standard episodic memory in continual learning settings leads to significant gains on continual learning benchmarks. Furthermore we demonstrate this approach with larger images, LiDAR, and reinforcement learning environments.

研究动机与目标

• 明确 Online Continual Compression (OCC) 问题及其挑战（表示漂移、遗忘、非平稳数据）。
• 提出基于 VQ-VAE 的 Adaptive Quantization Modules (AQM)，以管理多级压缩与内存。
• 开发自我回放（self-replay）和流式采样以在固定容量下维持内存质量。
• 在在线持续图像分类、较大图像、LiDAR 与强化学习设置中证明有效性。

提出的方法

• 使用一系列带有分层码本的 VQ-VAE 来离散化表示。
• 引入自适应多层存储方案，每一层以不同比特率存储码本索引。
• 利用自我回放来使用新数据与随机采样的存储表示共同更新 AQM。
• 实现流式采样策略（非均匀、内存感知）以在最大化分布表示的同时删除存储样本。
• 通过冻结码本来稳定表示以控制漂移，同时允许编码器/解码器进行自适应。
• 给出包含数据流、编码、存储与内存更新的数据流/算法（Algorithm 1）的在线算法。

实验结果

研究问题

• RQ1 在编码器演化的情况下，在线学习的压缩是否能存储并检索过去的表示（抵御表示漂移）？
• RQ2 自适应的多层量化是否能在在线持续学习中提升内存效率和重建质量？
• RQ3 内部回放与流式采样是否能在固定存储下减少遗忘？
• RQ4 在在线持续图像分类上，带有 AQM 的 OCC 性能如何，并能扩展到更大图像、LiDAR 与 RL 观测？

主要发现

• AQM 与向量量化的 VAE 在在线持续场景中有效缓解表示漂移。
• 多层存储和自我回放在比 ER+JPEG 等基线下实现更高的准确性并减少遗忘，尤其在较小的内存预算下。
• 在 CIFAR-10 持续学习基准上，AQM 在不同内存规模下显著超越 ER 和其他基线（如对 ER 的显著改进且遗忘更低）。
• 在 ImageNet 的离线评估显示，从压缩内存相对于未压缩数据的储备抽样中获得收益，消融实验证实各组件的重要性（码本稳定、解耦训练、自适应压缩、漂移控制）。
• AQM 能扩展到更大模态（ImageNet、LiDAR）和 RL 观测，提供压缩（如 32x）同时保留与任务相关的信息。