[论文解读] SplitSR: An End-to-End Approach to Super-Resolution on Mobile Devices

Xin Liu, Yuang Li+5 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Image Processing Techniques参考文献 44被引用 4

一句话总结

SplitSR 提出了一种混合深度学习架构，采用一种新颖的轻量化残差模块（SplitSRBlock），实现了在移动 CPU 上的最先进端侧超分。通过利用通道分割与标准卷积和轻量化卷积的混合设计，其推理速度相比之前方法最高提升 5 倍，同时保持更高精度，从而实现了首个实时端侧深度学习超分应用（ZoomSR）。

ABSTRACT

Super-resolution (SR) is a coveted image processing technique for mobile apps ranging from the basic camera apps to mobile health. Existing SR algorithms rely on deep learning models with significant memory requirements, so they have yet to be deployed on mobile devices and instead operate in the cloud to achieve feasible inference time. This shortcoming prevents existing SR methods from being used in applications that require near real-time latency. In this work, we demonstrate state-of-the-art latency and accuracy for on-device super-resolution using a novel hybrid architecture called SplitSR and a novel lightweight residual block called SplitSRBlock. The SplitSRBlock supports channel-splitting, allowing the residual blocks to retain spatial information while reducing the computation in the channel dimension. SplitSR has a hybrid design consisting of standard convolutional blocks and lightweight residual blocks, allowing people to tune SplitSR for their computational budget. We evaluate our system on a low-end ARM CPU, demonstrating both higher accuracy and up to 5 times faster inference than previous approaches. We then deploy our model onto a smartphone in an app called ZoomSR to demonstrate the first-ever instance of on-device, deep learning-based SR. We conducted a user study with 15 participants to have them assess the perceived quality of images that were post-processed by SplitSR. Relative to bilinear interpolation -- the existing standard for on-device SR -- participants showed a statistically significant preference when looking at both images (Z=-9.270, p<0.01) and text (Z=-6.486, p<0.01).

研究动机与目标

• 解决由于高内存与计算需求，高精度深度学习超分（SR）模型在资源受限移动设备上部署的挑战。
• 通过在低端移动硬件上实现端到端的端侧推理，克服基于云的 SR 所面临的延迟与隐私限制。
• 开发一种面向移动设备的超分系统，在严格计算与内存预算内保持高图像质量。
• 通过一个可投入生产的智能手机应用（ZoomSR）展示实时端侧超分的可行性，用于实际应用场景。
• 在云连接不可靠或不可用的低资源环境中，为移动医疗应用提供隐私保护、低延迟的超分能力。

提出的方法

• 提出一种混合 CNN 架构 SplitSR，结合标准卷积模块与轻量级 SplitSRBlocks，以在精度与效率之间取得平衡。
• 引入 SplitSRBlock，一种新颖的残差模块，通过在 2D 卷积中执行通道分割，在减少通道维度计算的同时保留空间信息。
• 使用现代深度学习编译器（TVM）执行低级别算子优化，包括内核融合与内存访问优化，以实现在 ARM CPU 上的高效推理。
• 设计一种模型部署流水线，通过调整通道分割比例与模块放置等超参数，实现对不同计算预算的混合架构灵活调优。
• 在低性能 ARM CPU（Google Pixel 4）上实现并评估该系统，并将其部署于名为 ZoomSR 的真实世界应用中，实现端到端的端侧超分。
• 通过模型调度与手势预测优化推理延迟，在捏合缩放交互过程中预判缩放级别，选择最合适的模型。

实验结果

研究问题

• RQ1 结合标准与轻量化残差模块的混合 CNN 架构，能否在保持足够高效以实现在移动 CPU 上端侧部署的同时，实现高超分精度？
• RQ2 SplitSRBlock 中的通道分割机制如何改善超分任务中计算效率与特征保留之间的权衡？
• RQ3 与现有基于云的 SR 解决方案相比，端侧超分在多大程度上能降低延迟并消除对云处理的依赖？
• RQ4 能否在生产级移动应用中成功实现实时端侧深度学习超分，并通过用户偏好测试证明其优于传统方法？
• RQ5 如何利用用户交互模式（如捏合缩放手势）优化模型选择，进一步降低推理延迟？

主要发现

• 在低端 ARM CPU 上，SplitSR 的推理速度相比之前最先进方法最高提升 5 倍，同时保持更高的图像重建精度。
• 用户研究表明，SplitSR 在图像质量（Z = -9.270, p < 0.01）与文本可读性（Z = -6.486, p < 0.01）方面均显著优于双线性插值。
• ZoomSR 应用首次实现了智能手机上端到端的、基于深度学习的端侧超分，无需依赖云处理，实现了实时处理。
• SplitSRBlock 的通道分割机制有效降低了通道维度的计算量，同时保留了空间特征，从而同时提升了速度与精度。
• 混合架构通过调整标准与轻量化模块的比例，可灵活适配不同计算预算。
• 通过 TVM 编译器实现的低级别优化进一步提升了模型性能，实现了移动 CPU 上高效的内核调度与内存访问模式。