[论文解读] SAMScore: A Content Structural Similarity Metric for Image Translation Evaluation

Yunxiang Li, Meixu Chen+4 more|arXiv (Cornell University)|May 24, 2023

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

SAMScore 是一种新颖的图像翻译评估指标，利用 Segment Anything Model (SAM) 衡量源图像与翻译后图像之间的语义结构相似性。通过在 SAM 编码的嵌入上计算空间余弦相似性，它在 19 项多样化的图像翻译任务中均优于现有指标，展现出更优的鲁棒性和对高层次语义结构保留的忠实度评估能力。

ABSTRACT

Image translation has wide applications, such as style transfer and modality conversion, usually aiming to generate images having both high degrees of realism and faithfulness. These problems remain difficult, especially when it is important to preserve content structures. Traditional image-level similarity metrics are of limited use, since the content structures of an image are high-level, and not strongly governed by pixel-wise faithfulness to an original image. To fill this gap, we introduce SAMScore, a generic content structural similarity metric for evaluating the faithfulness of image translation models. SAMScore is based on the recent high-performance Segment Anything Model (SAM), which allows content similarity comparisons with standout accuracy. We applied SAMScore on 19 image translation tasks, and found that it is able to outperform all other competitive metrics on all tasks. We envision that SAMScore will prove to be a valuable tool that will help to drive the vibrant field of image translation, by allowing for more precise evaluations of new and evolving translation models. The code is available at https://github.com/Kent0n-Li/SAMScore.

研究动机与目标

• 为解决图像翻译中语义结构忠实度缺乏通用评估指标的问题。
• 克服传统指标（如 L2、PSNR、SSIM 和 LPIPS）无法捕捉高层语义内容的局限性。
• 通过使用零样本分割模型，缓解 FCNScore 中固有的领域差距和标注依赖问题。
• 开发一种通用、鲁棒且可扩展的评估指标，适用于多种图像翻译任务。
• 通过聚焦语义结构保留，实现对图像翻译模型更精确的基准测试。

提出的方法

• 利用预训练的 Segment Anything Model (SAM) 对源图像和翻译后图像的语义嵌入进行编码。
• 计算两幅图像间对应嵌入特征的空间余弦相似性，生成相似性得分。
• 利用 SAM 的零样本分割能力，无需微调或标注标签。
• 将空间特征图上的相似性得分聚合，生成单一的 SAMScore 值。
• 将得分标准化至 [0,1] 区间，以确保在多样化图像翻译任务中的一致可比性。
• 在 19 项多样化的图像翻译任务中验证性能，包括风格迁移、模态转换和领域自适应。

Figure 1: Overview of SAMScore. Source and generated images are separately input to the SAM encoder to obtain embeddings of the semantic structures, then a spatial cosine similarity score is calculated, yielding the final SAMScore.

实验结果

研究问题

• RQ1 零样本、基于分割的指标是否能在评估图像翻译的语义忠实度方面超越传统像素级和感知级指标？
• RQ2 与 FCNScore 相比，SAMScore 在高斯噪声和仿射形变等图像损坏情况下的鲁棒性如何？
• RQ3 SAMScore 在具有不同领域差距的多样化图像翻译任务中是否保持高性能？
• RQ4 SAMScore 是否能有效基于语义结构而非像素级相似性，区分忠实与非忠实的翻译？
• RQ5 与 SOTA 指标（如 LPIPS 和 FCNScore）相比，SAMScore 在捕捉结构保真度方面表现如何？

主要发现

• SAMScore 在全部 19 项图像翻译任务中均优于所有对比指标（包括 L2、PSNR、SSIM、LPIPS 和 FCNScore）。
• 在 cityscapes（标签到照片）任务中，SAMScore 得分为 0.7624，显著高于 FCNScore 的 0.5055（像素级准确率）。
• 在高斯噪声干扰下，SAMScore 从 0.7624 略降至 0.7574（噪声水平 250），而 FCNScore 从 0.5055 降至 0.4402，表明 SAMScore 更具鲁棒性。
• 在分段仿射形变下，SAMScore 从 0.7624 逐渐下降至 0.7091，表现出对结构失真的稳定敏感性。
• 在 head（MR 到 CT）翻译任务中，SAMScore 达到 0.8861，优于 LPIPS 和 FCNScore，后两者表现出更低的忠实度得分。
• 在 photo-to-Monet 和 photo-to-Vangogh 任务中，SAMScore 展现出卓越的鲁棒性，即使在结构扰动下仍保持高分（分别为 0.9054 和 0.8510）。

Figure 2: Similarity scores between the original images and CycleGAN-generated images with varying degrees of deformation. (A) horse to zebra, (B) orange to apple, (C) cityscapes (label to photo), (D) head (MR to CT), (E) photo to Ukiyoe, and (F) photo to Monet. Column 2 shows the results without ad