[论文解读] PointPCA: Point Cloud Objective Quality Assessment Using PCA-Based Descriptors

Evangelos Alexiou, Zhou, Xuemei+2 more|arXiv (Cornell University)|Nov 24, 2021

3D Shape Modeling and Analysis被引用 11

一句话总结

PointPCA 提出了一种基于主成分分析（PCA）的全参考、点基客观质量度量方法，用于三维点云的质量评估。通过从几何和颜色数据的局部邻域中提取 PCA 分解的统计特征，并利用随机森林回归进行特征融合，该方法在多个主观数据集上实现了最先进性能，皮尔逊等级相关系数（PLCC）最高达 0.942，斯皮尔曼等级相关系数（SROCC）最高达 0.942。

ABSTRACT

Point clouds denote a prominent solution for the representation of 3D photo-realistic content in immersive applications. Similarly to other imaging modalities, quality predictions for point cloud contents are vital for a wide range of applications, enabling trade-off optimizations between data quality and data size in every processing step from acquisition to rendering. In this work, we focus on use cases that consider human end-users consuming point cloud contents and, hence, we concentrate on visual quality metrics. In particular, we propose a set of perceptually relevant descriptors based on Principal Component Analysis (PCA) decomposition, which is applied to both geometry and texture data for full-reference point cloud quality assessment. Statistical features are derived from these descriptors to characterize local shape and appearance properties for both a reference and a distorted point cloud. The extracted statistical features are subsequently compared to provide corresponding predictions of visual quality for the distorted point cloud. As part of our method, a learning-based approach is proposed to fuse these individual predictors to a unified perceptual score. We validate the accuracy of the individual predictors, as well as the unified quality scores obtained after regression against subjectively annotated datasets, showing that our metric outperforms state-of-the-art solutions. Insights regarding design decisions are provided through exploratory studies, evaluating the performance of our metric under different parameter configurations, attribute domains, color spaces, and regression models. A software implementation of the proposed metric is made available at the following link: https://github.com/cwi-dis/pointpca.

研究动机与目标

• 开发一种在沉浸式应用中具有感知相关性的全参考客观质量度量方法，用于点云内容的质量评估。
• 通过利用基于 PCA 的描述符捕捉局部形状与外观特性，解决现有度量方法的局限性。
• 通过基于学习的回归框架融合多种手工设计的描述符，提升质量预测的准确性。
• 在多样化数据集上验证该方法，并提供关于最优参数配置、色彩空间及描述符组合的深入见解。

提出的方法

• 对点云几何和颜色数据的局部邻域应用 PCA，以提取主成分作为形状与外观描述符。
• 从每个局部区域的 PCA 分解的特征值和特征向量中计算统计特征（均值、方差、偏度、峰度）。
• 通过比较参考点云与受损点云之间的统计描述符，量化几何与纹理中的感知失真。
• 利用随机森林回归将单独的几何与纹理预测器融合为统一的质量评分。
• 评估多种回归模型（如 R3、R6），并通过消融实验选择性能最佳的配置。
• 在公开的主观数据集上验证该方法，并分析不同失真类型与数据集上的性能表现。

实验结果

研究问题

• RQ1 基于 PCA 的几何与纹理描述符在捕捉点云中感知相关的失真方面有多有效？
• RQ2 哪种基于 PCA 的统计特征组合能与主观质量评分达到最高的相关性？
• RQ3 色彩空间的选择以及描述符域（几何 vs. 纹理）的选择如何影响整体质量预测性能？
• RQ4 哪种回归模型（如随机森林变体）能在多样化的点云数据集上实现最佳泛化能力与预测准确性？
• RQ5 所提出的度量方法是否能在跨数据集评估中，优于现有的最先进客观质量度量方法？

主要发现

• 当使用 R3 回归模型时，PointPCA 在 D1 数据集上实现了 0.942 的 PLCC 和 0.942 的 SROCC，优于现有度量方法。
• R3 和 R6 随机森林模型表现出最佳泛化性能，其中 R3 在 D1 上表现更优，R6 在 D3 上表现更优。
• 在所有测试数据集中，纹理 PCA 描述符的准确性始终高于几何描述符。
• 即使在跨数据集评估中，该方法仍保持高性能（PLCC > 0.80），表明对分布偏移具有强鲁棒性。
• 探索性研究证实，结合几何与纹理描述符，并使用感知相关的色彩空间，能显著提升预测准确性。
• 在三个测试数据集（D1、D2、D3）上，所提出的度量方法均优于当前最先进方案，且在相关性指标上具有统计显著性提升。