[论文解读] RLFC: Random Access Light Field Compression using Key Views.

Srihari Pratapa, Dinesh Manocha|arXiv (Cornell University)|May 15, 2018

Advanced Vision and Imaging参考文献 8被引用 4

一句话总结

RLFC 是一种分层光场压缩方案，采用树状结构表示法，利用视图间的冗余性，通过有界整数序列编码实现随机访问和快速硬件解码。在 40–50 dB PSNR 下，压缩比达到 20:1 至 200:1，每通道解压缩时间低于 1 微秒，512×512 分辨率下实现 200 fps 的视图渲染。

ABSTRACT

We present a new hierarchical compression scheme for encoding light field images (LFI) that is suitable for interactive rendering. Our method (RLFC) exploits redundancies in the light field images by constructing a tree structure. The top level (root) of the tree captures the common high-level details across the LFI, and other levels (children) of the tree capture specific low-level details of the LFI. Our decompressing algorithm corresponds to tree traversal operations and gathers the values stored at different levels of the tree. Furthermore, we use bounded integer sequence encoding which provides random access and fast hardware decoding for compressing the blocks of children of the tree. We have evaluated our method for 4D two-plane parameterized light fields. The compression rates vary from 0.08 - 2.5 bits per pixel (bpp), resulting in compression ratios of around 200:1 to 20:1 for a PSNR quality of 40 to 50 dB. The decompression times for decoding the blocks of LFI are 1 - 3 microseconds per channel on an NVIDIA GTX-960 and we can render new views with a resolution of 512X512 at 200 fps. Our overall scheme is simple to implement and involves only bit manipulations and integer arithmetic operations.

研究动机与目标

• 为解决高效压缩光场图像以实现低延迟交互渲染的挑战。
• 在 4D 光场中减少多视图间的冗余性，同时保持高视觉质量。
• 为实时应用实现随机访问和快速硬件解码。
• 开发一种仅使用整数运算和位操作的简单、并行压缩方案。

提出的方法

• 该方法构建一个分层树状结构，其中根节点捕获光场中所有视图的共同高层特征。
• 子节点存储视图特定的低层细节，实现重建视图的渐进式精炼。
• 采用有界整数序列编码技术压缩子块数据，支持随机访问和快速解码。
• 解压缩过程中通过树遍历聚合不同层级的值，以重建完整的光场。
• 该方案仅使用位操作和整数运算，支持高效的硬件实现。
• 该方法在标准压缩指标下，基于 4D 两平面参数化光场进行评估。

实验结果

研究问题

• RQ1 基于分层树的压缩模型能否有效利用光场图像中的视间冗余性？
• RQ2 使用整数运算能否高效实现光场压缩中的随机访问和快速解码？
• RQ3 在计算开销最小化的情况下，可实现的压缩比和视觉质量如何？
• RQ4 该方法能否支持高帧率实时渲染，以满足交互式应用需求？
• RQ5 该方案在实现低比特率的同时，能在多大程度上保持高 PSNR？

主要发现

• 该方法在 PSNR 介于 40 dB 至 50 dB 时，实现 20:1 至 200:1 的压缩比。
• 压缩率范围为每像素 0.08 至 2.5 比特，表明具有很高的效率。
• 在 NVIDIA GTX-960 GPU 上，每通道的解压缩时间为 1 至 3 微秒。
• 系统支持 512×512 分辨率视图的实时渲染，帧率为 200 fps。
• 该方案在实际应用中极为高效，仅依赖位操作和整数运算。
• 该方法支持随机访问，且由于其结构简单，非常适合硬件加速。