[论文解读] Transferable Recognition-Aware Image Processing

Zhuang Liu, Tinghui Zhou+5 more|arXiv (Cornell University)|May 4, 2021

Advanced Neural Network Applications参考文献 36被引用 9

一句话总结

本文提出了一种感知识别的图像处理方法，通过在图像处理过程中直接最小化识别损失，以优化机器可解释性，在下游视觉任务中实现了显著的准确率提升，且在不同模型、架构和数据集之间具有强大的可迁移性——同时保持了良好的感知质量。

ABSTRACT

Recent progress in image recognition has stimulated the deployment of vision systems at an unprecedented scale. As a result, visual data are now often consumed not only by humans but also by machines. Existing image processing methods only optimize for better human perception, yet the resulting images may not be accurately recognized by machines. This can be undesirable, e.g., the images can be improperly handled by search engines or recommendation systems. In this work, we propose simple approaches to improve machine interpretability of processed images: optimizing the recognition loss directly on the image processing network or through an intermediate transforming model. Interestingly, the processing model's ability to enhance recognition quality can transfer when evaluated on models of different architectures, recognized categories, tasks and training datasets. This makes the solutions applicable even when we do not have the knowledge of future recognition models, e.g., if we upload processed images to the Internet. We conduct experiments on multiple image processing tasks, with ImageNet classification and PASCAL VOC detection as recognition tasks. With our simple methods, substantial accuracy gain can be achieved with strong transferability and minimal image quality loss. Through a user study we further show that the accuracy gain can transfer to a black-box, third-party cloud model. Finally, we try to explain this transferability phenomenon by demonstrating the similarities of different models' decision boundaries. Code is available at https://github.com/anonymous20202020/Transferable_RA .

研究动机与目标

• 填补现有图像处理方法仅优化人类感知而忽略机器识别的空白。
• 提升对事先未知模型（如第三方云系统）的图像处理结果的可解释性。
• 使图像处理流程能够增强在未见模型、任务和数据集上的识别性能。
• 在显著提升机器识别准确率的同时，保持高感知图像质量。
• 研究并解释识别改进在多种视觉模型之间的可迁移性。

提出的方法

• 端到端训练一个图像处理网络，配备识别损失头，联合优化图像质量和机器识别性能。
• 采用两阶段方法：首先训练一个识别感知的变换模型，然后在任何识别模型之前对图像应用该模型。
• 在训练期间最小化识别损失（例如交叉熵），使用可跨架构更换的识别头。
• 利用处理网络的中间表示，将识别改进迁移到架构不同的模型上。
• 在部署前对图像应用相同的处理流水线，确保与黑箱模型的兼容性。
• 使用决策边界分析解释识别改进为何能在不同模型间泛化。

实验结果

研究问题

• RQ1 是否可以训练图像处理网络，在不事先知晓识别架构的情况下，提升下游模型的识别准确率？
• RQ2 从处理图像中获得的识别改进在不同识别模型、任务和数据集之间能实现多大程度的迁移？
• RQ3 所提出的方法如何在提升机器识别性能的同时保持感知图像质量？
• RQ4 识别增益是否可以迁移到黑箱的第三方云识别模型上？
• RQ5 在决策边界中存在何种潜在结构相似性，可解释观察到的识别改进的可迁移性？

主要发现

• 所提方法在ImageNet分类和PASCAL VOC检测任务中实现了显著的准确率提升，同时图像质量退化极小。
• 识别改进可有效迁移到不同架构的模型上，包括ResNet、DenseNet和EfficientNet。
• 该方法在不同识别任务和训练数据集上均表现出泛化能力，展现出广泛适用性。
• 用户研究表明，准确率增益可成功迁移到黑箱的第三方云识别模型上。
• 分析表明，感知识别处理使不同模型的决策边界更加对齐，解释了其可迁移性。
• 该方法在保持与标准图像处理方法相当的感知质量的同时，显著提升了机器可解释性。