[论文解读] Volume Rendering Digest (for NeRF)

Andrea Tagliasacchi, Ben Mildenhall|arXiv (Cornell University)|Aug 29, 2022

Computer Graphics and Visualization Techniques被引用 14

一句话总结

本技术报告对神经辐射场（NeRF）中的体素渲染进行了全面推导与形式化，建立了通过透射率和不透明度实现可微分渲染的数学基础。报告基于概率透射率与分段常数密度，推导出关键的NeRF体素渲染方程，展示了如何通过递归透射率与alpha混合计算颜色合成。

ABSTRACT

Neural Radiance Fields employ simple volume rendering as a way to overcome the challenges of differentiating through ray-triangle intersections by leveraging a probabilistic notion of visibility. This is achieved by assuming the scene is composed by a cloud of light-emitting particles whose density changes in space. This technical report summarizes the derivations for differentiable volume rendering. It is a condensed version of previous reports, but rewritten in the context of NeRF, and adopting its commonly used notation.

研究动机与目标

• 使用概率透射率形式化NeRF中使用的体素渲染过程。
• 基于微分方程与累积分布函数，从第一原理推导NeRF渲染方程。
• 建立体素渲染中透射率、不透明度与alpha合成之间的联系。
• 提供数学上严谨且具有教学意义的解释，说明NeRF如何通过沿射线积分计算视角依赖的颜色。
• 以与可微分渲染流水线兼容的方式，统一密度、透射率与颜色积分的概念。

提出的方法

• 将场景建模为连续密度场σ(x)，表示单位距离内射线与粒子相互作用的可能性。
• 将透射率T(t)定义为射线在未与任何粒子碰撞的情况下到达距离t的概率，其由微分方程T'(t) = -T(t)σ(t)推导得出。
• 求解透射率方程，得到T(a→b) = exp(−∫ₐᵇ σ(t)dt)，表示射线段上存活的概率。
• 推导出体素渲染积分C = ∫₀ᴰ T(t)σ(t)c(t)dt，其中T(t)σ(t)为在t处停止的概率密度。
• 将推导应用于密度σₙ与区间δₙ为分段常数的区间，得到C = Σₙ Tₙ(1−exp(−σₙδₙ))cₙ。
• 通过使用alpha合成权重αₙ = 1−exp(−σₙδₙ)重述结果，得到最终的NeRF渲染方程：C = Σₙ Tₙαₙcₙ，其中Tₙ = ∏ᵢ₌₁ⁿ⁻¹(1−αᵢ)。

实验结果

研究问题

• RQ1 如何基于透射率与可见性的概率原理，正式推导NeRF中的体素渲染？
• RQ2 在连续体素介质中，密度、透射率与不透明度之间的数学关系是什么？
• RQ3 密度与颜色的分段常数近似如何实现NeRF中高效且可微分的渲染？
• RQ4 停止点的累积分布函数与体素渲染中透射率函数之间有何联系？
• RQ5 如何通过alpha合成重述体素渲染积分，以与标准图形渲染技术对齐？

主要发现

• 透射率函数T(a→b) = exp(−∫ₐᵇ σ(t)dt)被推导为建模射线存活概率的微分方程的解。
• 射线在距离t处终止的概率密度为T(t)σ(t)，对应于透射率与密度的乘积。
• 对于具有恒定密度σₐ与颜色cₐ的均匀介质，最终颜色为cₐ(1−exp(−σₐ(b−a)))，表现出指数衰减。
• 在分段常数区间中，体素渲染积分简化为C = Σₙ Tₙ(1−exp(−σₙδₙ))cₙ，其中Tₙ为到达第n个区间的累积透射率。
• 最终恢复出NeRF渲染方程C = Σₙ Tₙαₙcₙ，其中αₙ = 1−exp(−σₙδₙ)且Tₙ = ∏ᵢ₌₁ⁿ⁻¹(1−αᵢ)，从而实现可微分渲染。
• 通过恒等式∫(1−T(t))' dt = T(a)−T(b)的替代推导，验证了相同结果，确认了该方法的一致性。