[论文解读] Point Cloud Quality Assessment: Dataset Construction and Learning-based No-Reference Approach

Yipeng Liu, Qi Yang+2 more|arXiv (Cornell University)|Dec 22, 2020

Optical measurement and interference techniques参考文献 39被引用 7

一句话总结

本文提出一个大规模无参考（NR）点云质量评估（PCQA）数据集，包含104个参考点云和超过24,000个受损版本，每个版本均以33种不同类型的失真在7个失真等级下进行损伤。该研究提出一种端到端的稀疏卷积神经网络（CNN），专为点云属性设计，实现了可靠的主观质量预测，且该数据集已公开发布，以支持未来研究。

ABSTRACT

Full-reference (FR) point cloud quality assessment (PCQA) has achieved impressive progress in recent years. However, in many cases, obtaining the reference point cloud is difficult, so the no-reference (NR) methods have become a research hotspot. Few researches about NR objective quality metrics are conducted due to the lack of a large-scale subjective point cloud dataset. Besides, the distinctive property of the point cloud format makes it infeasible to apply blind image quality assessment (IQA) methods directly to predict the quality scores of point clouds. In this paper, we establish a large-scale PCQA dataset, which includes 104 reference point clouds and more than 24,000 distorted point clouds. In the established dataset, each reference point cloud is augmented with 33 types of impairments (e.g., Gaussian noise, contrast distortion, geometry noise, local loss, and compression loss) at 7 different distortion levels. Besides, inspired by the hierarchical perception system and considering the intrinsic attributes of point clouds, an end-to-end sparse convolutional neural network (CNN) is designed to accurately estimate the subjective quality. We conduct several experiments to evaluate the performance of the proposed network. The results demonstrate that the proposed network has reliable performance. The dataset presented in this work will be publicly accessible at this http URL.

研究动机与目标

• 为解决无参考（NR）质量评估中缺乏大规模主观点云数据集的问题。
• 开发一种基于学习的NR PCQA方法，以考虑点云独特的结构与几何特性。
• 设计一种深度学习模型，能够准确估计主观质量，且无需参考点云。
• 建立一个基准数据集，支持多种失真类型与等级，以实现稳健的模型训练与评估。
• 通过公开发布所构建的数据集，推动未来在NR PCQA领域的研究。

提出的方法

• 构建包含104个参考点云和超过24,000个受损变体的大规模PCQA数据集。
• 对每个参考点云应用33种不同的损伤类型——包括高斯噪声、对比度失真、几何噪声、局部丢失和压缩损失——在7个失真等级下。
• 设计一种受分层感知启发的端到端稀疏卷积神经网络（CNN），专为点云特定特征优化。
• 在所构建的数据集上训练稀疏CNN，直接从受损点云预测主观质量得分。
• 利用稀疏卷积高效处理不规则点云数据，同时保持几何结构。
• 使用标准相关性度量评估模型性能，以对比主观得分。

实验结果

研究问题

• RQ1 能否有效构建一个大规模、多样化的受损点云数据集，以支持无参考质量评估？
• RQ2 在未访问参考点云的情况下，基于该数据集训练的深度学习模型在预测主观质量方面的表现如何？
• RQ3 为点云几何特性量身定制的稀疏CNN架构在点云数据上的表现，是否显著优于通用的基于图像的质量评估方法？
• RQ4 所提出方法在不同失真类型与等级下的性能如何？
• RQ5 所提出的NR PCQA模型对未见过的点云失真是否具有良好的泛化能力？

主要发现

• 所提出的数据集包含104个参考点云和超过24,000个受损版本，涵盖33种失真类型在7个失真等级下，支持全面评估。
• 端到端稀疏CNN在预测主观质量得分方面表现出可靠性能，证明了该架构在点云特定特征上的有效性。
• 由于其针对点云不规则性和几何特性的设计，该模型优于通用的图像质量评估方法。
• 该数据集公开可访问，为未来无参考点云质量评估研究提供了宝贵的基准。
• 结果证实，当在具有受控失真的多样化大规模数据集上进行训练时，基于学习的NR PCQA是可行且有效的。
• 所提出方法在不同失真类型下表现出一致的性能，表明其对各种退化模式具有鲁棒性。