[论文解读] RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning

Kang Liao, Lang Nie+3 more|arXiv (Cornell University)|Jan 4, 2023

Advanced Vision and Imaging被引用 4

一句话总结

该论文提出 RecRecNet，一种新颖的无监督深度学习框架，通过联合保持未失真的内容和笔直的边界，利用薄板样条（TPS）模块实现非刚性形变，并结合基于自由度（DoF）的课程学习策略，对广角图像进行校正。该方法通过从 4-DoF 相似变换逐步学习到 8-DoF 仿射变换的变形规则，在定量指标和视觉质量方面均取得了卓越性能。

ABSTRACT

The wide-angle lens shows appealing applications in VR technologies, but it introduces severe radial distortion into its captured image. To recover the realistic scene, previous works devote to rectifying the content of the wide-angle image. However, such a rectification solution inevitably distorts the image boundary, which changes related geometric distributions and misleads the current vision perception models. In this work, we explore constructing a win-win representation on both content and boundary by contributing a new learning model, i.e., Rectangling Rectification Network (RecRecNet). In particular, we propose a thin-plate spline (TPS) module to formulate the non-linear and non-rigid transformation for rectangling images. By learning the control points on the rectified image, our model can flexibly warp the source structure to the target domain and achieves an end-to-end unsupervised deformation. To relieve the complexity of structure approximation, we then inspire our RecRecNet to learn the gradual deformation rules with a DoF (Degree of Freedom)-based curriculum learning. By increasing the DoF in each curriculum stage, namely, from similarity transformation (4-DoF) to homography transformation (8-DoF), the network is capable of investigating more detailed deformations, offering fast convergence on the final rectangling task. Experiments show the superiority of our solution over the compared methods on both quantitative and qualitative evaluations. The code and dataset are available at https://github.com/KangLiao929/RecRecNet.

研究动机与目标

• 解决传统校正方法导致图像边界失真的问题，从而降低下游视觉感知模型的性能。
• 提出一种双赢的表征方式，同时保留校正后广角图像中几何准确的内容和规则、笔直的边界。
• 开发一种灵活的端到端无监督学习框架，能够建模复杂非线性与非刚性形变。
• 通过引入基于 DoF 的课程学习策略，从简单到复杂逐步推进，提升训练稳定性和收敛速度。
• 探究因图像边界形变导致视觉模型性能下降的根本原因，并证明其在各类视觉任务中的广泛影响。

提出的方法

• 采用薄板样条（TPS）运动模块，在校正图像上学习控制点，以建模从失真空间到校正空间的非线性、非刚性形变。
• 将形变公式化为可微分变换，实现无需真实监督信号的端到端训练。
• 实施基于 DoF 的课程学习调度，从 4-DoF 相似变换开始，逐步过渡到 8-DoF 仿射变换。
• 设计课程学习流程，从直线边界到曲线边界逐步推进，使网络能够学习分层几何规则，避免陷入不良局部极小值。
• 采用基于图像重建和结构一致性的自监督损失函数，优化 TPS 形变，无需配对的真实世界数据。
• 设计训练流程，从低复杂度变换开始初始化，逐步提升形变能力，从而改善收敛性和泛化能力。

实验结果

研究问题

• RQ1 为何校正后的广角图像中边界形变会导致现代视觉感知模型（如 Mask R-CNN）性能显著下降？
• RQ2 能否学习到一种统一表征，同时实现图像内容的校正和边界保持笔直、规则？
• RQ3 基于 DoF 的渐进式课程学习如何提升非刚性形变网络在广角图像校正中的训练效果？
• RQ4 TPS 基于的形变模型在保持几何保真度和语义一致性方面，相较于传统校正方法有多大优势？
• RQ5 所提出的方法是否能在无需领域特定微调的情况下，泛化到多样化的现实世界广角镜头和合成数据集？

主要发现

• 采用 $9\times9$ 控制点网格的 TPS 模块性能最佳，在基准数据集上取得 PSNR 18.68、SSIM 0.5450、FID 19.01 和 LPIPS 0.1136 的结果。
• 采用从 4-DoF 到 8-DoF 的课程学习（Vanilla + C3）可实现更快收敛和更好泛化，训练轮次减少约 40%。
• 消融实验表明，增加控制点密度可提升边界定位和结构恢复能力，其中 $9\times9$ 为最优配置。
• RecRecNet 在来自多样化镜头（如 Rokinon 8mm、GoPro）的真实广角图像上泛化良好，在跨域评估中优于最先进方法。
• 研究发现，形变边界会引入人工边缘和特征，这些在卷积层中传播，导致 Mask R-CNN 等模型产生语义误判。
• 形变边界引起的边缘效应不仅影响图像校正，还广泛影响其他视觉任务，如图像拼接、形变校正和滚动快门校正，凸显其广泛影响。