[论文解读] State-of-the-art in 360° Video/Image Processing: Perception, Assessment and Compression

Chen Li, Mai Xu+2 more|arXiv (Cornell University)|May 1, 2019

Visual Attention and Saliency Detection参考文献 149被引用 6

一句话总结

本文全面综述了最先进的360°视频/图像处理技术，重点聚焦于感知建模、视觉质量评估（VQA）和压缩技术。综述涵盖数据集、显著性预测方法、主观与客观VQA方法，以及利用球面几何特性和人类视觉注意机制的压缩技术，强调了构建更大规模数据集和多任务学习框架对推动该领域发展的必要性。

ABSTRACT

Nowadays, 360° video/image has been increasingly popular and drawn great attention. The spherical viewing range of 360° video/image accounts for huge data, which pose the challenges to 360° video/image processing in solving the bottleneck of storage, transmission, etc. Accordingly, the recent years have witnessed the explosive emergence of works on 360° video/image processing. In this paper, we review the state-of-the-art works on 360° video/image processing from the aspects of perception, assessment and compression. First, this paper reviews both datasets and visual attention modelling approaches for 360° video/image. Second, we survey the related works on both subjective and objective visual quality assessment (VQA) of 360° video/image. Third, we overview the compression approaches for 360° video/image, which either utilize the spherical characteristics or visual attention models. Finally, we summarize this overview paper and outlook the future research trends on 360° video/image processing.

研究动机与目标

• 系统性回顾在感知、视觉质量评估（VQA）和压缩方面近期在360°视频/图像处理中的进展。
• 识别将传统2D视频/图像处理技术适配至360°内容时面临的关键挑战，这些挑战源于球面几何结构和基于视窗的观看行为。
• 分析现有包含视觉注意数据的数据集，评估其在规模和代表性方面对训练数据驱动模型的局限性。
• 考察面向360°内容的客观VQA方法的演进，特别是整合视觉注意和视窗感知的质量退化建模方法。
• 探索利用球面特性与人类感知的压缩策略，以在保持质量的同时降低比特率。

提出的方法

• 调研12个包含视觉注意数据的公开360°视频/图像数据集，包括通过HMD和眼动追踪系统收集的数据，以分析人类观看行为。
• 将显著性预测方法分类为启发式（手工设计特征）与数据驱动（深度神经网络）两类，重点强调从2D显著性模型的适应性改进。
• 回顾在受控HMD环境下收集质量评分的主观VQA方法，以及校正非均匀投影密度或整合视觉注意的客观VQA模型。
• 分析通过调整运动估计、重投影或采样密度等方式，对2D视频编码标准（如HEVC、VVC）进行改进的压缩技术，以及采用基于注意的比特分配策略的方法。
• 评估联合预测显著性、视窗和质量评分的多任务学习框架，以提升感知、VQA与压缩流水线之间的效率与一致性。
• 强调重投影、权重分配和视窗感知指标在将2D VQA指标（如SSIM、PSNR）适配至360°内容中的作用。

实验结果

研究问题

• RQ1 360°视频/图像中的人类观看模式与2D内容有何不同？哪些数据集能有效捕捉这些行为？
• RQ2 现有2D显著性模型在多大程度上可被适配至360°视频/图像？当前注意建模方法存在哪些局限性？
• RQ3 如何调整视觉质量评估（VQA）方法以考虑360°内容中非均匀的感知敏感度和基于视窗的观看特性？
• RQ4 哪些压缩策略能有效利用球面几何特性和人类视觉注意机制，在不牺牲感知质量的前提下降低比特率？
• RQ5 能否通过联合优化感知、VQA与压缩的多任务学习框架，提升360°视频/图像处理的性能与效率？

主要发现

• 现有的360°视频/图像注意数据集规模有限（例如，48–153名受试者），限制了数据驱动深度学习模型的性能，相较于大规模2D数据集存在明显差距。
• 360°内容的显著性预测同时受益于基于2D的特征提取与新型球面感知架构，但目前仅有少数模型充分挖掘了360°几何结构的优势。
• 整合视觉注意或对内容进行重投影以减少失真偏差的客观VQA方法，其结果与主观质量评分的匹配度优于标准2D指标。
• 采用视窗感知比特分配或球面感知运动估计的压缩技术，在保持感知质量的同时实现了显著的比特率节省（例如，某些情况下最高达30%）。
• 目前大多数VQA研究仍为全参考（FR）模式，表明亟需发展稳健的降参考（RR）与无参考（NR）方法，以支持实时与可扩展部署。
• 联合预测显著性、视窗与质量评分的多任务学习框架在端到端优化方面展现出潜力，初步研究已证明其可行性与性能提升。