[论文解读] Towards Coding for Human and Machine Vision: A Scalable Image Coding Approach

Yueyu Hu, Shuai Yang+3 more|arXiv (Cornell University)|Jan 9, 2020

Advanced Image and Video Retrieval Techniques参考文献 19被引用 5

一句话总结

该论文提出了一种可扩展的图像编码框架，通过结合压缩特征提取（边缘图）与基于稀疏参考像素的深度生成模型进行重建，联合优化人类视觉质量和机器视觉性能。该方法在相似比特率下，人类视觉偏好度达到90%，面部关键点检测误差相比JPEG降低44.75%。

ABSTRACT

The past decades have witnessed the rapid development of image and video coding techniques in the era of big data. However, the signal fidelity-driven coding pipeline design limits the capability of the existing image/video coding frameworks to fulfill the needs of both machine and human vision. In this paper, we come up with a novel image coding framework by leveraging both the compressive and the generative models, to support machine vision and human perception tasks jointly. Given an input image, the feature analysis is first applied, and then the generative model is employed to perform image reconstruction with features and additional reference pixels, in which compact edge maps are extracted in this work to connect both kinds of vision in a scalable way. The compact edge map serves as the basic layer for machine vision tasks, and the reference pixels act as a sort of enhanced layer to guarantee signal fidelity for human vision. By introducing advanced generative models, we train a flexible network to reconstruct images from compact feature representations and the reference pixels. Experimental results demonstrate the superiority of our framework in both human visual quality and facial landmark detection, which provide useful evidence on the emerging standardization efforts on MPEG VCM (Video Coding for Machine).

研究动机与目标

• 为大数据时代支持人类感知与机器视觉任务的图像编码需求提供解决方案。
• 弥合以信号保真度为导向的压缩与面向特征的机器视觉压缩之间的差距。
• 开发一种可扩展的编码框架，在保持人类高质量重建的同时，实现稳健的机器视觉性能。
• 通过混合结构-颜色表示，实现人类视觉质量与机器视觉准确率的联合优化。

提出的方法

• 该框架首先进行特征分析，提取紧凑的边缘图作为机器视觉任务的基础层。
• 基于边缘位置采样稀疏参考像素，以提升人类视觉的重建保真度。
• 训练深度生成模型，从边缘图与参考像素的组合中重建高质量图像。
• 采用多损失训练目标，结合感知损失、对抗损失与重建损失，以提升图像质量。
• 将边缘图参数化为紧凑向量，以最小化比特率，同时保留结构信息。
• 该框架支持可扩展解码：基础层（边缘图）支持机器任务，增强层（参考像素）提升视觉质量。

实验结果

研究问题

• RQ1 单一图像编码框架能否同时优化人类视觉质量与机器视觉性能？
• RQ2 紧凑的边缘图作为面部关键点检测等机器视觉任务的基础层，效果如何？
• RQ3 生成模型在何种程度上能从极简的结构表示中重建出高保真图像？
• RQ4 在人类视觉与机器视觉领域之间，比特率效率与性能之间的权衡如何？

主要发现

• 所提方法在相似比特率下，人类视觉保真度偏好度达90%，美学偏好度达73%，显著优于JPEG。
• 在qp=4时，与JPEG相比，面部关键点检测的归一化均方误差（NME）降低了44.75%。
• 在结合颜色与结构线索的情况下，NME仅为3.33%，优于JPEG在qp=8时的4.48%。
• 超过90%的由该方法重建的图像在面部关键点检测中的误差低于5%，表明其具有高度鲁棒性。
• 用户研究表明，该方法在保真度与美学方面均更受青睐，偏好度分别为90%与73%。