[论文解读] Point Cloud Quality Assessment: Dataset Construction and Learning-based No-Reference Metric

Yipeng Liu, Qi Yang+2 more|arXiv (Cornell University)|Dec 22, 2020

Optical measurement and interference techniques被引用 10

一句话总结

本文提出ResSCNN，一种基于稀疏卷积神经网络的无参考点云质量评估度量，其在新构建的大规模数据集（LS-PCQA）上进行训练，该数据集包含超过22,000个受损点云。该方法在无参考度量中达到最先进性能，并优于多个全参考度量，展现出在各种失真下的强大泛化能力和鲁棒性。

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point clouds is difficult, so no-reference (NR) metrics have become a research hotspot. Few researches about NR-PCQA are carried out due to the lack of a large-scale PCQA dataset. In this paper, we first build a large-scale PCQA dataset named LS-PCQA, which includes 104 reference point clouds and more than 22,000 distorted samples. In the dataset, each reference point cloud is augmented with 31 types of impairments (e.g., Gaussian noise, contrast distortion, local missing, and compression loss) at 7 distortion levels. Besides, each distorted point cloud is assigned with a pseudo quality score as its substitute of Mean Opinion Score (MOS). Inspired by the hierarchical perception system and considering the intrinsic attributes of point clouds, we propose a NR metric ResSCNN based on sparse convolutional neural network (CNN) to accurately estimate the subjective quality of point clouds. We conduct several experiments to evaluate the performance of the proposed NR metric. The results demonstrate that ResSCNN exhibits the state-of-the-art (SOTA) performance among all the existing NR-PCQA metrics and even outperforms some FR metrics. The dataset presented in this work will be made publicly accessible at http://smt.sjtu.edu.cn. The source code for the proposed ResSCNN can be found at https://github.com/lyp22/ResSCNN.

研究动机与目标

• 为解决无参考点云质量评估（NR-PCQA）缺乏大规模、公开可用数据集的问题。
• 开发一种无需参考点云的鲁棒、可泛化的基于学习的NR-PCQA度量。
• 克服密集卷积在处理不规则、散乱点云数据时的局限性。
• 通过分层感知框架建模几何和色彩相关失真，提升质量评估的准确性。
• 实现在无参考数据不可用的真实世界应用中高性能、可扩展的NR-PCQA。

提出的方法

• 构建了包含104个参考点云和超过22,000个受损样本的LS-PCQA数据集，每个样本均以31种失真类型在7个等级下受损。
• 为受损样本分配伪平均意见得分（MOS），以实现无需完整主观测试的监督学习。
• 设计了一种稀疏卷积神经网络（ResSCNN），可高效处理不规则、散乱的点云数据，具有低内存占用和高推理速度。
• 集成受人类视觉感知启发的分层特征学习，捕捉局部与全局的结构及色彩特征。
• 在稀疏CNN架构中利用残差连接，以提升训练稳定性和特征表示能力。
• 使用LS-PCQA数据集端到端训练模型，直接从受损点云预测主观质量得分。

实验结果

研究问题

• RQ1 大规模、公开可用的PCQA数据集能否显著提升基于学习的NR-PCQA度量的泛化能力？
• RQ2 基于稀疏CNN的架构是否能在处理不规则点云数据进行质量评估时优于传统的基于密集卷积的模型？
• RQ3 在多样化失真上训练的无参考度量能否达到与全参考度量相当的性能？
• RQ4 在无参考点云的情况下，该方法在不同类型几何失真和基于色彩的失真上的表现如何？
• RQ5 分层特征学习与色彩分布建模在多大程度上提升了NR-PCQA的性能？

主要发现

• ResSCNN在所有现有无参考PCQA度量中达到最先进性能，优于以往的基于学习和非基于学习的方法。
• 在几何失真（如局部缺失）上，所提出的ResSCNN显著优于其他NR-PCQA度量，斯皮尔曼等级相关系数（SRCC）达到1.00。
• 在完整的LS-PCQA数据集上，ResSCNN的SRCC为0.83，皮尔逊线性相关系数（PLCC）为0.81，展现出在多样化失真下的强大泛化能力。
• 该模型在复杂失真（如VPCC和GPCC压缩）上与全参考度量表现相当，SRCC值超过0.80。
• 无参考（NR）与全参考（FR）度量之间的性能差距依然存在，特别是在基于色彩的失真（如对比度失真和泊松噪声）上，表明NR-PCQA中仍需更优的色彩感知建模。
• LS-PCQA数据集使训练鲁棒、可泛化的NR-PCQA模型成为可能，ResSCNN相较于在小规模数据集上训练的先前方法表现出更优性能，充分证明了这一点。