[论文解读] Neural Texture Block Compression

Shin Fujieda, Takahiro Harada|arXiv (Cornell University)|Jan 1, 2024

Botulinum Toxin and Related Neurological Disorders被引用 1

一句话总结

本文提出神经纹理块压缩（NTBC），一种基于学习的方法，利用多层感知机（MLPs）和多分辨率特征网格，将多个经过BC1/BC4压缩的纹理整合为单一更小的存储占用。NTBC在仅造成极小质量损失且无需修改着色器的情况下，实现高达70%的存储空间缩减，适用于高保真图形应用的高效、实时兼容纹理压缩。

ABSTRACT

Block compression is a widely used technique to compress textures in real-time graphics applications, offering a reduction in storage size. However, their storage efficiency is constrained by the fixed compression ratio, which substantially increases storage size when hundreds of high-quality textures are required. In this paper, we propose a novel block texture compression method with neural networks, Neural Texture Block Compression (NTBC). NTBC learns the mapping from uncompressed textures to block-compressed textures, which allows for significantly reduced storage costs without any change in the shaders.Our experiments show that NTBC can achieve reasonable-quality results with up to about 70% less storage footprint, preserving real-time performance with a modest computational overhead at the texture loading phase in the graphics pipeline.

研究动机与目标

• 解决实时图形应用中数百张高分辨率纹理带来的高存储成本问题。
• 在不修改现有图形着色器的前提下，减少块压缩纹理（BC1/BC4）的存储占用。
• 探索保持与标准BC格式兼容性的同时，实现更低比特率的基于学习的压缩方法。
• 通过多分辨率特征网格的量化感知训练优化模型效率。
• 在单张GPU上实现低推理开销，证明方法的实际可行性。

提出的方法

• NTBC使用两个多层感知机（MLPs）学习从原始纹理到块压缩BC1/BC4数据的映射。
• 采用多分辨率特征网格作为输入表示，以提升模型优化效果并捕捉空间细节。
• 模型采用感知损失函数进行训练，以保留视觉质量，尤其在亮度-色度空间中。
• 通过量化感知训练对特征网格进行压缩，以在保持保真度的同时降低存储成本。
• 该方法支持两种训练策略：保守型（为BC1和BC4分别训练独立模型）与激进型（联合模型），在压缩率与质量之间实现平衡。
• 网络权重以文件形式存储于磁盘，并在运行时加载，通过推理重建VRAM中的BC压缩纹理数据。

实验结果

研究问题

• RQ1 神经网络能否学习将原始纹理映射至标准BC1/BC4块压缩格式，同时实现更低的存储成本？
• RQ2 多分辨率特征网格与量化感知训练的使用如何影响模型压缩效率与视觉质量？
• RQ3 在使用联合（激进型）与独立（保守型）训练策略处理BC1与BC4时，压缩率与视觉保真度之间的权衡如何？
• RQ4 所提出的方法能否在保持与现有图形管线及实时渲染约束兼容的前提下，实现显著的存储节省？
• RQ5 在高频或梯度丰富的纹理内容下，会浮现哪些类型的纹理伪影（如模糊、颜色失真），以及如何缓解？

主要发现

• NTBC在具有多个纹理的材质上，与标准BC1/BC4相比，存储占用最高可减少70%。
• 保守型与激进型训练方法的存储成本固定为26.74 MB与13.37 MB，与纹理数量无关。
• 对于包含两个或更多4K纹理的材质，NTBC在存储效率上始终优于标准BC1/BC4。
• 在Compressonator评估中，NTBC生成的高频纹理细节与参考BC输出相当，优于直接权重推理的朴素方法。
• 该方法在纹理加载阶段仅引入适度的计算开销，可在单张GPU上实现实时性能。
• 常见伪影包括高频色彩图案中的颜色失真、平滑渐变中的方块效应，以及高频纹理中的模糊，表明当前网络容量与分辨率仍存在局限。