[论文解读] PyTorch Image Quality: Metrics for Image Quality Assessment

Sergey Kastryulin, Jamil Zakirov+2 more|arXiv (Cornell University)|Aug 31, 2022

Image Enhancement Techniques被引用 11

一句话总结

本文介绍了 PyTorch Image Quality（PIQ），一个开源、基于 GPU 加速的库，实现了 38 个以上的图像质量评估（IQA）度量方法，涵盖全参考、无参考和基于分布的类别。基于 PyTorch 构建，PIQ 通过严格的测试和优化确保了正确性、可靠性和高性能，使其在深度学习流程中高效运行，并与人类感知具有强相关性。

ABSTRACT

Image Quality Assessment (IQA) metrics are widely used to quantitatively estimate the extent of image degradation following some forming, restoring, transforming, or enhancing algorithms. We present PyTorch Image Quality (PIQ), a usability-centric library that contains the most popular modern IQA algorithms, guaranteed to be correctly implemented according to their original propositions and thoroughly verified. In this paper, we detail the principles behind the foundation of the library, describe the evaluation strategy that makes it reliable, provide the benchmarks that showcase the performance-time trade-offs, and underline the benefits of GPU acceleration given the library is used within the PyTorch backend. PyTorch Image Quality is an open source software: https://github.com/photosynthesis-team/piq/.

研究动机与目标

• 解决 Python 中现代 IQA 度量方法缺乏可靠、经社区验证且用户友好的实现的问题。
• 提供一个统一、经过充分测试且高度优化的库，确保 IQA 算法根据其原始公式被正确实现。
• 通过在 PyTorch 工作流中使用 GPU 加速，实现 IQA 度量的高性能计算。
• 通过提供全面且可扩展的 IQA 工具包，支持图像恢复、增强和医学成像等多种研究应用。
• 通过提供单一、经验证且持续维护的资源，减轻研究人员重新实现或调试 IQA 度量的负担。

提出的方法

• 该库使用 PyTorch 实现了 38 个以上的 IQA 度量方法，包括 PSNR、SSIM、LPIPS、FID、KID 和 DISTS，支持可微分、基于 GPU 的计算。
• 每种度量方法均经过与原始实现和正式定义的严格对比测试，以确保正确性和一致性。
• 该库支持三种主要的 IQA 类别：全参考（FR）、无参考（NR）和基于分布的（DB）度量，其中 DB 度量兼容多种特征提取器（如 VGG16、VGG19、InceptionNet）。
• 采用选择性优化技术，在性能与易用性之间实现平衡，遵循 PyTorch 的原则：在性能与使用便捷性之间做出可接受的折衷。
• 该库设计了用户友好的 API，遵循最小惊讶原则，最大限度减少研究人员的认知负担。
• 在标准数据集（KADID-10k、TID2013、PIPAL、MRI 重建）上进行基准测试，以评估在 CPU 和 GPU 上的性能-时间权衡。

实验结果

研究问题

• RQ1 如何设计一个统一、可靠且用户友好的 Python 图像质量评估库，以减少实现不一致？
• RQ2 在使用 PyTorch 后端时，现代 IQA 度量方法在 CPU 与 GPU 上计算的性能-时间权衡如何？
• RQ3 GPU 加速在深度学习流程中对 IQA 度量计算效率的提升程度如何？
• RQ4 在包括医学成像在内的多种图像领域中，所实现的度量方法与人类感知的相关性如何？
• RQ5 一个单一、经过充分测试的库在多大程度上可以替代多个分散且可能存在错误的 IQA 度量实现？

主要发现

• PIQ 在全参考、无参考和基于分布的类别中实现了 38 个以上的 IQA 度量方法，经过严格验证，确保其与原始公式的正确性和一致性。
• 该库在 GPU 上实现了高性能，相较于 CPU 执行具有显著的速度提升，适用于实时和大规模训练流程。
• 在 KADID-10k 和 MRI 重建数据集上，DISTS 和 LPIPS 等度量方法与人类感知表现出强相关性（SROCC > 0.9），同时计算开销较低。
• 在 TID2013 和 PIPAL 数据集上的基准测试结果表明，DISTS、LPIPS 和 FID 等度量方法在性能-时间图的左上区域表现出高 SROCC 分数（>0.85），表明其具有最优的权衡。
• PIQ 已被多个研究项目采用，包括医学图像质量研究和神经架构开发，证实了其实际效用和可靠性。
• 该库在 GitHub 上获得了超过 640 颗星标和 57 个分叉，月均访问量超过 4,000 次，表明其获得了强大的社区采纳和积极使用。