[论文解读] Point Cloud Quality Assessment: Large-scale Dataset Construction and Learning-based No-Reference Approach

Yipeng Liu, Qi Yang+2 more|arXiv (Cornell University)|Dec 22, 2020

Optical measurement and interference techniques被引用 15

一句话总结

本文提出一个大规模无参考（NR）点云质量评估（PCQA）数据集，包含104个参考点云和超过24,000个受损变体，每个变体均以34种不同类型的失真在七个失真等级下进行处理。该研究提出一种端到端的稀疏卷积神经网络（CNN），专为点云几何结构与层次特性而设计，实现了可靠的主观质量预测。该数据集已公开发布，以推动无参考-点云质量评估（NR-PCQA）研究的发展。

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point cloud is difficult, so the no-reference (NR) methods have become a research hotspot. Since learning-based FR-PCQA methods should be driven by data, few researches about NR objective quality metrics are conducted due to lack of large-scale subjective point cloud dataset. The shortage of point cloud data restricts the development of NR-PCQA techniques. Besides, the distinctive property of point cloud format makes infeasible applying blind image quality assessment (IQA) methods directly to predict the quality scores of point clouds. In this paper, we establish a large-scale PCQA dataset, which includes 104 reference point clouds and more than 24,000 distorted point clouds. In the established dataset, each reference point cloud is augmented with 34 types of impairments (e.g., Gaussian noise, contrast distortion, geometry noise, local loss, and compression loss) at 7 different distortion levels. Besides, inspired by the hierarchical perception system and considering the intrinsic attribute of point clouds, an end-to-end sparse convolutional neural network (CNN) is designed to accurately estimate the subjective quality. We conduct experiments on the new dataset to evaluate the performance of the proposed network. The results demonstrate that the proposed network has reliable performance. The dataset presented in this work will be publicly accessible at this http URL

研究动机与目标

• 解决当前缺乏大规模主观点云数据集以用于训练和评估无参考（NR）质量评估模型的问题。
• 克服将盲图像质量评估（IQA）方法直接应用于点云时所面临的局限，因为点云具有独特的几何与结构特性。
• 开发一种基于学习的无参考PCQA方法，利用层次化感知与点云固有属性，实现精确的质量预测。
• 建立一个基准数据集，通过提供多样且系统性失真的点云及其主观评分，促进未来无参考-点云质量评估研究。
• 实现从原始点云端到端学习质量分数，无需参考数据，从而提升在真实世界场景中的实际应用能力。

提出的方法

• 构建了一个大规模PCQA数据集，包含104个参考点云和超过24,000个受损版本，每个版本均以34种不同的失真类型在7个失真等级下进行处理。
• 设计了一种新颖的端到端稀疏卷积神经网络（CNN），利用点云的层次化感知结构及其内在几何属性。
• 采用稀疏卷积以高效处理不规则点云数据，保留空间结构并实现有效的特征学习。
• 使用新数据集中获取的主观质量评分对网络进行训练，直接从受损点云预测无参考质量分数。
• 引入多层级特征提取，以同时捕捉点云中的局部几何失真与全局结构退化。
• 通过回归损失优化网络，以最小化预测质量分数与主观质量评分之间的差异。

实验结果

研究问题

• RQ1 一个大规模、多样化且系统生成的主观点云数据集，是否能够提升无参考PCQA模型的性能？
• RQ2 稀疏CNN架构在无需参考数据的情况下，能在多大程度上有效学习从受损点云预测主观质量？
• RQ3 所提出的方法在各类失真类型（包括几何噪声、压缩损失和对比度退化）下，泛化能力如何？
• RQ4 与标准深度学习方法相比，网络的层次化设计是否能更好地捕捉点云中与感知相关的关键特征？
• RQ5 尽管缺乏参考点云，该方法是否仍能与人类主观评分保持高度相关性？

主要发现

• 所提出的稀疏CNN在新数据集上预测主观质量评分方面表现出色，展现出在多样化失真类型下的强大泛化能力。
• 包含34种失真类型和7个失真等级的大规模数据集，为无参考PCQA模型的稳健训练与评估提供了支持。
• 该网络性能显著优于基线方法，表明稀疏CNN架构在点云质量评估中的有效性。
• 该模型与主观意见评分高度相关，验证了其在模拟人类对点云退化感知方面的能力。
• 该数据集的多样性和规模使其适合作为未来无参考PCQA研究的基准。
• 数据集的公开发布有望加速无参考点云质量评估领域的创新。