[论文解读] TartanCalib: Iterative Wide-Angle Lens Calibration using Adaptive SubPixel Refinement of AprilTags

Bardienus P Duisterhof, Yaoyu Hu+3 more|arXiv (Cornell University)|Oct 5, 2022

Advanced Vision and Imaging被引用 4

一句话总结

TartanCalib 提出了一种迭代式广角镜头标定流程，通过自适应子像素精炼和中间相机模型重投影，在高度畸变区域提升特征检测与子像素精炼效果。该方法将重投影误差降低最多达26.59%，相比最先进的工具如Kalibr，特征检测数量提升42.01%，显著改善了密集深度映射等下游任务。

ABSTRACT

Wide-angle cameras are uniquely positioned for mobile robots, by virtue of the rich information they provide in a small, light, and cost-effective form factor. An accurate calibration of the intrinsics and extrinsics is a critical pre-requisite for using the edge of a wide-angle lens for depth perception and odometry. Calibrating wide-angle lenses with current state-of-the-art techniques yields poor results due to extreme distortion at the edge, as most algorithms assume a lens with low to medium distortion closer to a pinhole projection. In this work we present our methodology for accurate wide-angle calibration. Our pipeline generates an intermediate model, and leverages it to iteratively improve feature detection and eventually the camera parameters. We test three key methods to utilize intermediate camera models: (1) undistorting the image into virtual pinhole cameras, (2) reprojecting the target into the image frame, and (3) adaptive subpixel refinement. Combining adaptive subpixel refinement and feature reprojection significantly improves reprojection errors by up to 26.59 %, helps us detect up to 42.01 % more features, and improves performance in the downstream task of dense depth mapping. Finally, TartanCalib is open-source and implemented into an easy-to-use calibration toolbox. We also provide a translation layer with other state-of-the-art works, which allows for regressing generic models with thousands of parameters or using a more robust solver. To this end, TartanCalib is the tool of choice for wide-angle calibration. Project website and code: http://tartancalib.com.

研究动机与目标

• 解决广角镜头在图像边界附近高度畸变区域中特征检测效果差与标定不准确的问题。
• 克服现有标定流程的局限性，这些流程假设畸变程度为低至中等，不适用于极端鱼眼镜头。
• 开发一种鲁棒的迭代标定流程，利用中间相机模型提升特征检测与精炼精度。
• 通过可靠使用包括高度畸变边缘在内的全图像区域，提升视觉里程计与密集深度映射等下游机器人任务的性能。
• 提供一个开源、易于使用的标定工具箱，可与Kalibr等现有工具集成，并支持通用相机模型。

提出的方法

• 该流程采用迭代方法，交替执行将图像反畸变到虚拟针孔相机，以及使用中间相机模型将标定靶标重新投影到图像平面。
• 基于重投影后的靶标尺寸应用自适应子像素精炼，动态调整精炼敏感度以适配不同畸变水平。
• 提出一种新型自适应角点SubPix()方法，在高畸变区域中提升特征定位精度，优于基于对称性的精炼方法，后者在极端畸变下表现不稳定。
• 结合中间模型重投影与子像素精炼，迭代优化相机参数估计与特征检测。
• 通过转换层支持与Kalibr等现有工具箱集成，实现对包含数千个参数的通用相机模型的回归。
• 该流程设计鲁棒，仅需极少超参数调优，运行时间仅为非迭代基线方法的2–3倍。

实验结果

研究问题

• RQ1 使用中间模型优化的迭代标定是否能提升广角镜头高度畸变区域的特征检测精度？
• RQ2 基于重投影靶标尺寸的自适应子像素精炼是否在极端畸变场景下优于传统子像素方法？
• RQ3 改进的特征检测在多大程度上降低了广角镜头标定中的重投影误差？
• RQ4 增强的特征覆盖范围与精度如何影响立体深度映射等下游任务？
• RQ5 所提出的流程能否在无需重大修改的前提下，有效集成到Kalibr等现有标定工具箱中？

主要发现

• 与Kalibr相比，TartanCalib在Lensagon BF5M鱼眼镜头上的整体重投影误差最高降低26.59%，从0.3297像素降至0.2630像素。
• 该方法检测到的特征数量比Kalibr最多多出42.01%，尤其在高畸变边缘区域显著提升了特征覆盖范围。
• 使用cornerSubPix()的自适应子像素精炼优于基于对称性的精炼方法，后者在高畸变下不稳定，尤其在Lensagon BF5M数据集上表现更差。
• 改进的特征检测使得生成虚拟针孔立体图像对时，视差图更平滑，噪声更少，表明在深度映射任务中下游性能显著提升。
• TartanCalib在广角镜头的特征检测与标定精度方面达到当前最先进水平，仅需极少超参数调优，且运行时间仅比基线多2–3倍。
• 开源工具箱与Kalibr兼容，支持通用相机模型与鲁棒求解器，具备广泛的集成与使用潜力。