[论文解读] Order-Independent Texture Synthesis

Li‐Yi Wei, Marc Levoy|arXiv (Cornell University)|Jun 28, 2014

Computer Graphics and Visualization Techniques参考文献 34被引用 56

一句话总结

本文提出了一种与顺序无关的纹理合成算法，可在任意生成顺序下按需生成高质量纹理，结果一致。通过使用金字塔式数据结构和依赖感知缓存，该算法实现了高效、隐式的纹理合成，适用于实时渲染和交互式应用。

ABSTRACT

Search-based texture synthesis algorithms are sensitive to the order in which texture samples are generated; different synthesis orders yield different textures. Unfortunately, most polygon rasterizers and ray tracers do not guarantee the order with which surfaces are sampled. To circumvent this problem, textures are synthesized beforehand at some maximum resolution and rendered using texture mapping. We describe a search-based texture synthesis algorithm in which samples can be generated in arbitrary order, yet the resulting texture remains identical. The key to our algorithm is a pyramidal representation in which each texture sample depends only on a fixed number of neighboring samples at each level of the pyramid. The bottom (coarsest) level of the pyramid consists of a noise image, which is small and predetermined. When a sample is requested by the renderer, all samples on which it depends are generated at once. Using this approach, samples can be generated in any order. To make the algorithm efficient, we propose storing texture samples and their dependents in a pyramidal cache. Although the first few samples are expensive to generate, there is substantial reuse, so subsequent samples cost less. Fortunately, most rendering algorithms exhibit good coherence, so cache reuse is high.

研究动机与目标

• 解决现有基于搜索的纹理合成算法在不同生成顺序下产生不一致结果的局限性。
• 实现一种计算高效且内存高效的隐式按需纹理合成方法，适用于交互式和实时图形应用。
• 设计一种系统，确保无论渲染管线遍历顺序如何（如光栅化器或光线追踪器），纹理输出完全一致。
• 通过动态合成纹理而非预先计算并存储全分辨率纹理，降低存储和带宽需求。
• 通过高效的缓存机制和硬件加速潜力，支持在渲染管线、VR 浏览器和光线追踪器中的实际部署。

提出的方法

• 该算法采用金字塔式表示，其中每个纹理样本仅依赖于每一层中固定数量的邻居，确保无论生成顺序如何，输出结果均具有确定性。
• 金字塔缓存存储已计算的样本及其依赖关系，支持复用并减少冗余计算。
• 样本按需生成：当请求某个像素时，其所有依赖的样本会同时计算。
• 算法采用 K-一致性搜索实现高效的邻域匹配，在质量与性能之间取得平衡。
• 该系统可作为纹理着色器（光线追踪器）、mipmap 缓存（光栅化器）或解压器（VR 浏览器）集成到渲染管线中。
• 该方法支持任意分辨率和样本访问顺序，且在典型渲染工作负载中通过高缓存一致性实现性能优化。

实验结果

研究问题

• RQ1 统计纹理合成算法是否能在不同样本生成顺序下产生完全相同的输出结果？
• RQ2 在存在像素间依赖关系的情况下，如何实现高效且确定性的按需纹理合成？
• RQ3 金字塔依赖结构在多大程度上能够实现与顺序无关的合成，同时保持高图像质量？
• RQ4 在真实渲染工作负载中，缓存大小与计算比例之间的性能权衡如何？
• RQ5 该方法是否能在可编程图形硬件上高效加速，以支持实时应用？

主要发现

• 该算法实现了与顺序无关的合成：不同样本生成顺序产生完全相同的纹理，解决了先前基于搜索方法的关键局限。
• 在 16K 纹理单元缓存下，基准场景中的计算比例（每请求一个纹理单元平均计算的纹理单元数）降至约 1.5–2.0，表明缓存效率极高。
• 在 Quake 场景中，该算法通过从 64×64 输入合成大尺寸的 512×512 纹理，减少了不自然的纹理重复，显著提升了视觉质量。
• 该算法在小缓存尺寸下表现稳健；当缓存超过 8K 纹理单元后，计算比例趋于稳定，表明小缓存足以满足典型工作负载需求。
• 当缓存复用率较高时，该方法比完整纹理合成的 K-一致性搜索快 4 倍，且在普通 PC 上生成 512×512 纹理的运行时间低于 10 秒。
• 未来在 GPU 上的硬件加速预计可使软件纯实现的性能提升至少 100 倍，从而支持全屏应用的实时使用。