[论文解读] Understanding SSIM

Jim Nilsson, Tomas Akenine‐Möller|arXiv (Cornell University)|Jun 24, 2020

Image and Video Quality Assessment被引用 47

一句话总结

本论文批判性分析结构相似性指数（SSIM），揭示了非直观、未定义和感知上不一致的行为，并主张在图像质量评估和深度学习损失中谨慎使用或予以替代。

ABSTRACT

The use of the structural similarity index (SSIM) is widespread. For almost two decades, it has played a major role in image quality assessment in many different research disciplines. Clearly, its merits are indisputable in the research community. However, little deep scrutiny of this index has been performed. Contrary to popular belief, there are some interesting properties of SSIM that merit such scrutiny. In this paper, we analyze the mathematical factors of SSIM and show that it can generate results, in both synthetic and realistic use cases, that are unexpected, sometimes undefined, and nonintuitive. As a consequence, assessing image quality based on SSIM can lead to incorrect conclusions and using SSIM as a loss function for deep learning can guide neural network training in the wrong direction.

研究动机与目标

• 审查SSIM的数学公式及其常见简化。
• 研究SSIM组成部分（亮度、对比度、结构）的感知基础与局限性。
• 识别SSIM在何种情形下产生反直觉或未定义的结果。
• 评估SSIM在灰度和彩色图像上的表现，以及在不同分辨率和失真条件下的表现。
• 讨论SSIM作为质量度量和在视觉任务中作为学习目标的使用影响。

提出的方法

• 给出原始SSIM方程及简化的MSSIM形式。
• 推导SSIM分量的极小值以显示其范围及潜在的非直观行为。
• 在不同分辨率下，检验SSIM在恒定灰度、彩色图像以及梯度/镜像情形中的行为。
• 分析当SSIM分量中负值被非整数幂次方时可能出现未定义结果的情形。
• 使用合成和真实图像示例将SSIM行为与人类感知进行比较。
• 讨论SSIM作为度量和在渲染及视觉系统中的损失函数的含义。

实验结果

研究问题

• RQ1 在常见参数选择下，SSIM分量（l、c、s）的数学属性和取值范围是什么？
• RQ2 SSIM是否会对真实或合成图像对产生反直觉或未定义的结果，以及这与感知相似性有何关系？
• RQ3 SSIM在彩色输入与灰度输入以及在各种失真（噪声、抖动、边缘、光照）下的表现如何？
• RQ4 SSIM与人类视觉感知在何种程度上对齐，以及将SSIM用于深度学习损失的含义是什么？
• RQ5 在渲染质量评估和机器学习流程中使用SSIM时应采用哪些替代方案或注意事项？

主要发现

• SSIM在特定输入和参数设置下可能产生非直观甚至未定义的结果。
• l分量对亮度变化高度敏感，可能在不同亮度水平上与人类感知不一致。
• 通过灰度转换处理的彩色图像可能产生误导性的SSIM值，表明更宜使用颜色感知的度量。
• 边缘和梯度可能导致高SSIM值的推断与感知差异不符，且当s为负数且被非整数幂次方时会产生复数结果。
• l、c、s的SSIM极小值显示出不同场景下的局限性，挑战了严格意义上基于感知的指数的说法。
• SSIM与MSE/PSNR的关系是微妙的，在某些条件下有证据表明存在将SSIM*与MSE*相连的数学变换。