[论文解读] Progressive Knowledge Transfer Based on Human Visual Perception Mechanism for Perceptual Quality Assessment of Point Clouds

Qi Liu, Yiyun Liu+3 more|arXiv (Cornell University)|Nov 30, 2022

Image and Video Quality Assessment被引用 4

一句话总结

本文提出 PKT-PCQA，一种基于人类视觉系统（HVS）启发的渐进式知识迁移框架的无参考点云感知质量评估模型。通过结合空间与通道注意力机制、图谱特征以及层次化特征融合，PKT-PCQA 在三个基准数据集上实现了最先进性能，优于现有无参考与降低参考方法，且在与主观评分的相关性上与全参考基线方法相当。

ABSTRACT

With the wide applications of colored point cloud in many fields, point cloud perceptual quality assessment plays a vital role in the visual communication systems owing to the existence of quality degradations introduced in various stages. However, the existing point cloud quality assessments ignore the mechanism of human visual system (HVS) which has an important impact on the accuracy of the perceptual quality assessment. In this paper, a progressive knowledge transfer based on human visual perception mechanism for perceptual quality assessment of point clouds (PKT-PCQA) is proposed. The PKT-PCQA merges local features from neighboring regions and global features extracted from graph spectrum. Taking into account the HVS properties, the spatial and channel attention mechanism is also considered in PKT-PCQA. Besides, inspired by the hierarchical perception system of human brains, PKT-PCQA adopts a progressive knowledge transfer to convert the coarse-grained quality classification knowledge to the fine-grained quality prediction task. Experiments on three large and independent point cloud assessment datasets show that the proposed no reference PKT-PCQA network achieves better of equivalent performance comparing with the state-of-the-art full reference quality assessment methods, outperforming the existed no reference quality assessment network.

研究动机与目标

• 为解决现有点云质量评估方法未能建模人类视觉系统（HVS）特性，导致感知预测不准确的问题。
• 开发一种无需访问原始（参考）点云的无参考质量评估框架，以支持更广泛的实际部署。
• 通过整合 HVS 启发机制（如选择性注意与分层处理）提升客观模型预测与人类主观意见评分之间的对齐。
• 设计一种渐进式知识迁移策略，将粗粒度质量分类知识迁移至细粒度质量预测，以增强模型泛化能力与准确性。

提出的方法

• 模型采用基于图谱的特征提取机制，从点云中捕获全局几何结构与关键聚类信息，降低计算复杂度。
• 通过模仿人类视觉系统多尺度感受野的分层架构，融合局部与全局特征，增强表征学习能力。
• 集成双注意力机制——空间注意力与通道注意力，动态加权重要特征，模拟人类选择性视觉注意，以提升质量预测性能。
• 实施渐进式知识迁移策略，将粗粒度质量分类任务的知识迁移至细粒度质量回归任务，提升模型泛化能力。
• 采用逻辑回归进行端到端训练以实现分数缩放，使客观得分与主观 MOS（平均意见得分）范围对齐。
• 在三个独立数据集（WPC、SJTU-PCQA 与 M-PCCD）上评估框架，使用标准指标如 PLCC 与 SROCC。

实验结果

研究问题

• RQ1 通过建模人类视觉感知，无参考点云质量评估模型能否实现与全参考方法相当的性能？
• RQ2 集成空间与通道注意力机制在多大程度上提升了客观质量评分与人类主观意见之间的对齐？
• RQ3 从粗粒度分类到细粒度预测的渐进式知识迁移在多大程度上提升了感知质量评估中的模型准确性？
• RQ4 基于图谱的特征提取方法能否有效捕获不规则点云数据中的局部与全局几何特征？
• RQ5 所提模型在具有不同失真水平与点云特性的多样化数据集上的表现如何？

主要发现

• 在 WPC 数据集上，PKT-PCQA 达到 PLCC 0.56 与 SROCC 0.56，优于所有无参考与降低参考方法，仅略低于最佳全参考方法 IW-SSIMp。
• 在 SJTU-PCQA 数据集上，PKT-PCQA 达到 PLCC 0.91 与 SROCC 0.91，显著优于其他无参考模型，甚至超越降低参考指标 PCM_RR。
• 在 M-PCCD 数据集上，PKT-PCQA 达到 SROCC 0.91 与 PLCC 0.93，展现出在多样化点云类型与失真下的强大泛化能力。
• 该模型性能持续优于最先进无参考方法 PQA-NET，后者在 WPC 数据集上仅达到 PLCC 0.71 与 SROCC 0.77。
• 尽管无需任何参考数据，该方法实现了接近最先进水平的性能——与最佳全参考方法相差仅 0.02–0.05，凸显其鲁棒性与实用性。
• HVS 启发注意力机制与渐进式知识迁移的整合显著提升了预测准确性，表现为在所有数据集上与主观 MOS 的相关性更高。