[论文解读] The Differentiable Lens: Compound Lens Search over Glass Surfaces and Materials for Object Detection

Geoffroi Côté, Fahim Mannan+3 more|arXiv (Cornell University)|Dec 8, 2022

Industrial Vision Systems and Defect Detection被引用 6

一句话总结

本文提出了一种可微分的球面镜片仿真模型，通过引入量化连续玻璃变量，实现了对复合镜片设计（包括玻璃材料）的端到端优化。该方法在保持制造可行性的前提下，联合优化镜片几何结构、材料选择与下游神经网络，尽管图像质量有所下降，但在自动驾驶应用中仍实现了更优的目标检测性能，即使采用简化的两片或三片镜片结构亦是如此。

ABSTRACT

Most camera lens systems are designed in isolation, separately from downstream computer vision methods. Recently, joint optimization approaches that design lenses alongside other components of the image acquisition and processing pipeline -- notably, downstream neural networks -- have achieved improved imaging quality or better performance on vision tasks. However, these existing methods optimize only a subset of lens parameters and cannot optimize glass materials given their categorical nature. In this work, we develop a differentiable spherical lens simulation model that accurately captures geometrical aberrations. We propose an optimization strategy to address the challenges of lens design -- notorious for non-convex loss function landscapes and many manufacturing constraints -- that are exacerbated in joint optimization tasks. Specifically, we introduce quantized continuous glass variables to facilitate the optimization and selection of glass materials in an end-to-end design context, and couple this with carefully designed constraints to support manufacturability. In automotive object detection, we report improved detection performance over existing designs even when simplifying designs to two- or three-element lenses, despite significantly degrading the image quality.

研究动机与目标

• 解决现有镜片设计方法仅优化几何参数而忽略玻璃材料选择的局限性，因其类别性质导致难以优化。
• 通过量化连续变量实现玻璃材料选择的可微分性，从而实现镜片设计与下游视觉网络的联合优化。
• 通过可微分仿真框架，克服镜片优化中的挑战，如非凸损失曲面和制造约束。
• 通过联合设计镜片与神经网络，即使在简化镜片配置下，也能在真实自动驾驶场景中提升目标检测性能。
• 通过在优化流程中整合实际制造约束，确保设计结果具备现实可制造性。

提出的方法

• 开发一种可微分的球面镜片仿真模型，基于光线追踪原理精确捕捉几何像差。
• 引入量化连续玻璃变量，以可微分方式表示离散玻璃材料，从而实现对材料选择的基于梯度的优化。
• 制定带约束的镜片设计优化问题，包括表面曲率、厚度和材料选择约束，以确保可制造性。
• 将可微分镜片模型集成到端到端训练流程中，联合优化镜片参数与下游目标检测网络。
• 应用基于梯度的优化技术，在尊重物理与制造边界的前提下，穿越镜片设计的非凸损失曲面。
• 使用可微分图像质量度量指导镜片优化，在图像保真度与下游检测性能之间实现平衡。

实验结果

研究问题

• RQ1 可微分镜片仿真能否实现对镜片几何结构与玻璃材料选择的端到端优化？
• RQ2 与孤立优化镜片设计相比，镜片设计与基于深度学习的目标检测网络的联合优化在性能上提升多少？
• RQ3 当与视觉处理流程联合优化时，简化的镜片配置（如两片或三片镜片）在多大程度上能实现更优的检测性能？
• RQ4 量化连续玻璃变量能否有效实现对离散玻璃材料的基于梯度的优化？
• RQ5 可制造性约束如何影响优化过程及最终镜片设计的质量？

主要发现

• 所提方法即使在使用简化的两片或三片镜片设计时，也能在自动驾驶场景中实现更优的目标检测性能。
• 尽管图像质量显著下降，但镜片与网络的联合优化仍优于传统镜片设计，检测准确率更高。
• 量化连续玻璃变量有效实现了对离散玻璃材料的可微分优化，克服了先前研究中的主要局限。
• 可微分镜片仿真能准确建模几何像差，从而可靠优化复杂镜片系统。
• 可制造性约束被成功整合到优化流程中，生成的设计具备真实制造可行性。
• 端到端优化框架表明，镜片设计与视觉网络训练可协同优化，从而实现更优的系统级性能。