[论文解读] Ray-transfer functions for camera simulation of 3D scenes with hidden lens design

Thomas Goossens, Zheng Lyu+4 more|arXiv (Cornell University)|Feb 17, 2022

Computer Graphics and Visualization Techniques参考文献 38被引用 10

一句话总结

本文提出一种多项式光线传输函数（RTF）模型，利用来自Zemax的黑箱镜头数据，在保护镜头设计者知识产权的前提下，实现对3D场景的高保真物理相机模拟。该方法通过拟合Zemax生成的光线数据来建立非线性RTF，实现相对照度和边缘扩展函数的高保真模拟，并已集成至PBRT中，实现与开源工具链的端到端模拟，便于复现与验证。

ABSTRACT

Combining image sensor simulation tools (e.g., ISETCam) with physically based ray tracing (e.g., PBRT) offers possibilities for designing and evaluating novel imaging systems as well as for synthesizing physically accurate, labeled images for machine learning. One practical limitation has been simulating the optics precisely: Lens manufacturers generally prefer to keep lens design confidential. We present a pragmatic solution to this problem using a black box lens model in Zemax; such models provide necessary optical information while preserving the lens designer's intellectual property. First, we describe and provide software to construct a polynomial ray transfer function that characterizes how rays entering the lens at any position and angle subsequently exit the lens. We implement the ray-transfer calculation as a camera model in PBRT and confirm that the PBRT ray-transfer calculations match the Zemax lens calculations for edge spread functions and relative illumination.

研究动机与目标

• 为解决在镜头设计保密、限制准确软件原型设计与机器学习训练的挑战。
• 开发一种实用的、隐私保护的方法，仅使用Zemax提供的黑箱光学数据来建模未知镜头系统。
• 通过将多项式RTF嵌入物理光线追踪器中，实现在包含深度、遮挡与光谱效应的3D场景中高保真模拟。
• 提供开源工具，使研究人员能够复现、验证，并将RTF模型集成至现有模拟工作流（如PBRT与Zemax）中。

提出的方法

• 作者推导出一个6D非线性光线传输函数（RTF），将入射光线的位置与方向映射为出射光线的位置与方向，基于Zemax生成的光线数据进行多项式逼近。
• 通过从传感器平面穿过镜头采样光线，在Zemax中计算其出射点与方向，并对输入-输出光线对拟合多元多项式以构建RTF。
• 实现光线通过函数以判断给定入射光线是否能通过镜头，从而定义RTF的有效域并考虑渐晕效应。
• 将RTF编码为JSON文件，并作为自定义相机模型集成至PBRT，实现包含深度依赖光学效应的完整3D场景渲染。
• 通过引入光线位置与方向的z分量，支持曲面出射，实现广角与非平面光学系统的精确模拟。
• 通过对比PBRT模拟结果与Zemax在六种不同镜头上的相对照度与边缘扩展函数结果，对方法进行验证。

实验结果

研究问题

• RQ1 当仅能获取黑箱Zemax数据时，多项式光线传输函数能否准确建模真实镜头的光学行为？
• RQ2 该RTF在不同类型的镜头中，能否良好复现相对照度与边缘扩展函数等关键光学指标？
• RQ3 该RTF模型在多大程度上能捕捉3D场景中与深度相关的效应，如遮挡与多重反射？
• RQ4 该RTF能否有效集成至如PBRT这样的物理光线追踪器中，以实现准确的端到端相机模拟？
• RQ5 对于广角与复杂镜头，RTF性能如何随多项式阶次与输入光线采样策略变化？

主要发现

• RTF模型在六种不同镜头（包括双高斯镜头与200°广角镜头）上，均能高精度复现Zemax计算的相对照度分布。
• 对于边缘扩展函数，当输入光线圆半径限制在0.8 mm以内时，五次多项式RTF能与Zemax数据实现良好拟合，显著降低所需多项式复杂度。
• 通过将RTF扩展至3D光线向量，该方法成功建模了复杂的光学效应，如渐晕与非平面光线传播，包括具有负dz分量的光线。
• 使用RTF的PBRT实现结果在边缘扩展函数与相对照度方面均与Zemax结果高度一致，验证了该近似的保真度。
• 开源软件栈（包括Zemax宏、MATLAB处理脚本与兼容PBRT的RTF JSON接口）支持可复现且可扩展的模拟工作流。
• 该方法使机器学习应用能够在未知镜头设计的前提下，生成大规模、物理准确且像素级标注的训练数据。