[论文解读] Rate-Adaptive Neural Networks for Spatial Multiplexers

Suhas Lohit, Rajhans Singh+2 more|arXiv (Cornell University)|Sep 8, 2018

Video Surveillance and Tracking Methods参考文献 6被引用 12

一句话总结

本文提出一种新颖的三阶段训练算法，联合学习测量算子与神经网络，实现率自适应压缩感知，使单一模型无需微调即可在多种测量率下实现高质量的图像重建与识别。该方法相比单率基线模型在峰值信噪比（PSNR）上最高提升15 dB，并在动态应用（如目标跟踪与图像识别）中保持优异性能。

ABSTRACT

In resource-constrained environments, one can employ spatial multiplexing cameras to acquire a small number of measurements of a scene, and perform effective reconstruction or high-level inference using purely data-driven neural networks. However, once trained, the measurement matrix and the network are valid only for a single measurement rate (MR) chosen at training time. To overcome this drawback, we answer the following question: How can we jointly design the measurement operator and the reconstruction/inference network so that the system can operate over a extit{range} of MRs? To this end, we present a novel training algorithm, for learning extbf{ extit{rate-adaptive}} networks. Using standard datasets, we demonstrate that, when tested over a range of MRs, a rate-adaptive network can provide high quality reconstruction over a the entire range, resulting in up to about 15 dB improvement over previous methods, where the network is valid for only one MR. We demonstrate the effectiveness of our approach for sample-efficient object tracking where video frames are acquired at dynamically varying MRs. We also extend this algorithm to learn the measurement operator in conjunction with image recognition networks. Experiments on MNIST and CIFAR-10 confirm the applicability of our algorithm to different tasks.

研究动机与目标

• 解决现有基于深度学习的压缩感知方法在训练后固定于单一测量率的局限性。
• 使单一神经网络能够在推理时跨连续测量率范围实现高质量重建与推理。
• 开发一种端到端的联合优化框架，联合学习测量矩阵与重建/推理网络，实现跨率的泛化能力。
• 展示率自适应系统在移动设备与无人机等资源受限的动态环境中的实际应用价值。
• 将框架扩展至图像识别等高层视觉任务，完全跳过重建过程。

提出的方法

• 提出一种三阶段训练算法：第一阶段，为单一测量率训练测量矩阵与重建网络；第二阶段，通过共享潜在空间在多个测量率上微调网络；第三阶段，联合优化测量矩阵与网络以实现率自适应性。
• 测量矩阵被参数化为网络输入处的可学习全连接层，支持通过整个系统进行端到端反向传播。
• 框架采用多率训练策略，每个训练批次从预设范围内随机采样一个测量率，网络被优化以最小化所有测量率下的重建或分类损失。
• 对于图像识别任务，该方法跳过重建过程，直接训练网络对压缩测量进行分类，其中测量矩阵与分类器联合优化。
• 训练采用标准优化技术（Adam、动量），配合学习率调度与权重衰减，并使用TensorFlow实现，利用自动微分。
• 该方法在MNIST与CIFAR-10数据集上验证了识别性能，在自然图像数据集上验证了重建性能，采用CNN与自编码器架构。

实验结果

研究问题

• RQ1 是否可以训练单一神经网络，在无需重新训练或微调的情况下，实现跨广泛测量率范围的高质量图像重建？
• RQ2 与固定率训练相比，联合学习测量算子与重建网络如何提升性能？
• RQ3 该率自适应框架能否扩展至图像识别等高层视觉任务，完全跳过重建过程？
• RQ4 在因带宽、能耗或内容约束导致测量率动态变化的动态环境中，系统性能如何？
• RQ5 在不同测量率下测试时，率自适应网络与单率基线之间的性能差距如何？

主要发现

• 在测量率0.04下，率自适应网络相比单率基线模型PSNR最高提升15 dB，尽管其在0.25的测量率下进行训练。
• 在CIFAR-10图像识别任务中，率自适应网络在测试范围[0.10, 0.25]内相比在MR=0.25下训练的基线网络，准确率最高提升29.12个百分点。
• 在MNIST数据集中，率自适应网络在0.10至0.25的全部测量率下均保持超过98%的准确率，而单率基线在MR=0.10时准确率下降至66.13%。
• 在目标跟踪任务中，率自适应网络在测量率动态变化的环境中保持了优异性能，展示了在资源受限系统中的实时自适应能力。
• 该方法在不同网络架构上均表现出良好的泛化能力，在重建任务中对CNN与自编码器架构均表现优异。
• 对于直接从压缩测量中进行识别的任务，率自适应框架在整个测量率范围内保持稳定准确率，而基线模型在训练率范围外性能急剧下降。