[论文解读] Textured Mesh Quality Assessment: Large-Scale Dataset and Deep Learning-based Quality Metric

Yana Nehmé, Delanoy, Johanna+4 more|arXiv (Cornell University)|Feb 4, 2022

Image and Video Quality Assessment被引用 6

一句话总结

本文提出一个大规模数据集，包含343,000个从55个源模型生成的压缩纹理3D网格，以及一种基于深度学习的质量度量方法——Graphics-LPIPS，该方法通过比较使用孪生卷积神经网络（Siamese CNN）渲染的图像块来预测感知视觉质量。该度量方法在纹理网格和顶点着色网格数据集上均达到当前最优性能，与主观评分具有强相关性，并对多种失真组合具有鲁棒性。

ABSTRACT

Over the past decade, 3D graphics have become highly detailed to mimic the real world, exploding their size and complexity. Certain applications and device constraints necessitate their simplification and/or lossy compression, which can degrade their visual quality. Thus, to ensure the best Quality of Experience (QoE), it is important to evaluate the visual quality to accurately drive the compression and find the right compromise between visual quality and data size. In this work, we focus on subjective and objective quality assessment of textured 3D meshes. We first establish a large-scale dataset, which includes 55 source models quantitatively characterized in terms of geometric, color, and semantic complexity, and corrupted by combinations of 5 types of compression-based distortions applied on the geometry, texture mapping and texture image of the meshes. This dataset contains over 343k distorted stimuli. We propose an approach to select a challenging subset of 3000 stimuli for which we collected 148929 quality judgments from over 4500 participants in a large-scale crowdsourced subjective experiment. Leveraging our subject-rated dataset, a learning-based quality metric for 3D graphics was proposed. Our metric demonstrates state-of-the-art results on our dataset of textured meshes and on a dataset of distorted meshes with vertex colors. Finally, we present an application of our metric and dataset to explore the influence of distortion interactions and content characteristics on the perceived quality of compressed textured meshes.

研究动机与目标

• 为解决3D纹理网格质量评估中缺乏大规模、多样化且具有感知代表性的数据集的问题。
• 开发一种可泛化于多种失真和网格特性的基于深度学习的客观质量度量方法。
• 研究几何量化、纹理压缩和UV映射退化等单一及组合失真对3D网格质量的感知影响。
• 通过将质量评分与文件大小关联，实现压缩感知渲染的率失真优化。
• 为未来3D图形质量评估研究提供公开可用的基准数据集和度量方法。

提出的方法

• 通过在55个源模型上应用五种现实世界中的基于压缩的失真（几何量化、纹理压缩、UV映射量化、细节层次降低和纹理子采样），生成了343,000个失真的纹理网格刺激。
• 使用三种复杂度度量对源模型进行定量表征：几何复杂度（顶点数和曲率）、颜色复杂度（纹理方差和熵）以及语义复杂度（物体类别和视觉注意力分布）。
• 采用多样性感知采样策略，选取了3,000个具有挑战性的刺激样本，以确保覆盖完整的质量范围和失真组合。
• 开展了大规模众包主观实验，参与人数超过4,500人，收集了148,929条质量评分，用于生成真实均值意见分数（MOS）。
• 提出Graphics-LPIPS，一种基于CNN的度量方法，通过孪生网络结构处理参考和失真3D网格的渲染图像块，采用微调后的AlexNet特征和可学习的线性权重。
• 在主观数据集上端到端训练该度量方法，通过平均池化将局部图像块质量评分聚合为全局质量预测。

实验结果

研究问题

• RQ1 不同类型的基于压缩的失真（几何、纹理、UV映射）组合如何影响纹理3D网格的感知视觉质量？
• RQ2 几何和颜色复杂度在多大程度上会掩盖或增强失真伪影的可见性？
• RQ3 哪些失真类型对感知质量影响最大，它们在感知上如何相互作用？
• RQ4 在渲染图像块上训练的深度学习度量方法能否泛化到未见过的3D网格失真，并优于现有的基于图像的度量方法？
• RQ5 如何在3D图形的率失真权衡中有效建模和优化感知质量？

主要发现

• Graphics-LPIPS在所提出的纹理网格数据集上达到最先进性能，与主观MOS评分的斯皮尔曼等级相关系数最高（ρ = 0.93）。
• 该度量方法在顶点着色网格的基准数据集上也表现最佳，证实了其鲁棒性和泛化能力。
• 几何量化伪影在粗糙网格上显著不明显，表明网格复杂度与失真可见性之间存在强烈的感知交互作用。
• 使用JPEG进行纹理压缩可降低至极低质量水平（如QF=5），对感知质量影响极小，表明具有很高的感知容忍度。
• 具有均匀纹理的模型对UV映射量化不敏感，但纹理接缝密度显著影响感知退化程度。
• 颜色复杂度和几何复杂度均起到掩蔽效应，降低了高复杂度区域中几何失真的可察觉性。