[论文解读] VoGE: A Differentiable Volume Renderer using Gaussian Ellipsoids for Analysis-by-Synthesis

Angtian Wang, Peng Wang+3 more|arXiv (Cornell University)|May 30, 2022

Computer Graphics and Visualization Techniques被引用 4

一句话总结

VoGE 提出了一种基于高斯椭球体作为三维几何基元的可微分体素渲染器，用光线追踪替代光栅化以建模体素密度分布，实现精确的遮挡推理。通过 CUDA 优化的近似积分和粗到精的渲染策略，该方法在实时推理下实现了姿态估计、形状拟合和纹理拟合的最先进性能。

ABSTRACT

The Gaussian reconstruction kernels have been proposed by Westover (1990) and studied by the computer graphics community back in the 90s, which gives an alternative representation of object 3D geometry from meshes and point clouds. On the other hand, current state-of-the-art (SoTA) differentiable renderers, Liu et al. (2019), use rasterization to collect triangles or points on each image pixel and blend them based on the viewing distance. In this paper, we propose VoGE, which utilizes the volumetric Gaussian reconstruction kernels as geometric primitives. The VoGE rendering pipeline uses ray tracing to capture the nearest primitives and blends them as mixtures based on their volume density distributions along the rays. To efficiently render via VoGE, we propose an approximate closeform solution for the volume density aggregation and a coarse-to-fine rendering strategy. Finally, we provide a CUDA implementation of VoGE, which enables real-time level rendering with a competitive rendering speed in comparison to PyTorch3D. Quantitative and qualitative experiment results show VoGE outperforms SoTA counterparts when applied to various vision tasks, e.g., object pose estimation, shape/texture fitting, and occlusion reasoning. The VoGE library and demos are available at: https://github.com/Angtian/VoGE.

研究动机与目标

• 解决基于光栅化的可微分渲染器的局限性，后者无法处理重叠的几何基元，并会阻断对被遮挡物体的梯度传播。
• 通过建模体素密度分布而非依赖视距进行混合，改进可微分渲染中的遮挡推理。
• 利用显式的高斯椭球体实现可解释且可修改的 3D 表示，结合点云投射与体素渲染的优势。
• 开发一种支持端到端优化的实时可微分渲染流水线，适用于姿态估计、形状拟合等 3D 视觉任务。

提出的方法

• 使用由中心位置和空间协方差矩阵定义的高斯椭球体表示 3D 对象，实现平滑且可微分的几何结构。
• 通过光线追踪计算每条光线在每个高斯椭球体上的体素密度函数，以连续密度聚合替代光栅化。
• 通过闭式解近似光线路径上的体素密度积分，避免昂贵的数值积分。
• 采用粗到精的渲染策略，加速优化过程中的收敛并提升效率。
• 通过基于密度和占据率重新加权的高斯核属性加权混合，重建图像颜色。
• 实现 VoGE 的 CUDA 优化版本，使其实时渲染性能可与 PyTorch3D 相媲美。

实验结果

研究问题

• RQ1 基于体素高斯椭球体的可微分渲染器是否能在遮挡推理和梯度流动方面超越基于光栅化的方法？
• RQ2 与依赖视距进行混合相比，建模体素密度分布是否能提升重叠或部分遮挡场景下的混合精度？
• RQ3 高斯椭球体能否作为有效的、可微分的 3D 基元，用于形状和纹理拟合等逆向渲染任务？
• RQ4 所提出的近似闭式解在保持渲染质量的同时，能在多大程度上实现实时性能？

主要发现

• 在 PASCAL3D+ 的野外物体姿态估计基准上，VoGE 达到 69.2% 的准确率，优于 PyTorch3D（61.0%）和 NeMo+DSS（27.8%），且在相同设置下。
• 在形状拟合任务中，VoGE 将中位数误差降低至 6.9°（PyTorch3D 为 8.8°），并在 π/6 阈值下达到 47.9% 的准确率，优于所有基线方法。
• 消融研究证实，阻断对占据函数 $ T(l_k) $ 或指数项 $ e^{q_k} $ 的梯度会显著降低性能。
• VoGE 在纹理提取方面表现出强大的泛化能力，即使在船和公共汽车等分布外样本上，也能生成合理的新型视角渲染结果。
• 形状拟合中的损失曲线表明，即使未显式引入法向一致性损失，VoGE 仍能维持紧密的几何约束，表明其具有鲁棒的梯度流动。
• VoGE 的 CUDA 实现支持实时渲染，性能与 PyTorch3D 竞争，适用于视觉流水线中的端到端优化。