[论文解读] Towards Real-world Lens Active Alignment with Unlabeled Data via Domain Adaptation

Wenyong Lia, Qi Jiang+6 more|arXiv (Cornell University)|Jan 7, 2026

Domain Adaptation and Few-Shot Learning被引用 0

一句话总结

DA3 将仿真数据与少量未标记的真实世界图像结合，以桥接主动镜头对准的领域差距，在极少的设备端数据收集下实现高精度。

ABSTRACT

Active Alignment (AA) is a key technology for the large-scale automated assembly of high-precision optical systems. Compared with labor-intensive per-model on-device calibration, a digital-twin pipeline built on optical simulation offers a substantial advantage in generating large-scale labeled data. However, complex imaging conditions induce a domain gap between simulation and real-world images, limiting the generalization of simulation-trained models. To address this, we propose augmenting a simulation baseline with minimal unlabeled real-world images captured at random misalignment positions, mitigating the gap from a domain adaptation perspective. We introduce Domain Adaptive Active Alignment (DA3), which utilizes an autoregressive domain transformation generator and an adversarial-based feature alignment strategy to distill real-world domain information via self-supervised learning. This enables the extraction of domain-invariant image degradation features to facilitate robust misalignment prediction. Experiments on two lens types reveal that DA3 improves accuracy by 46% over a purely simulation pipeline. Notably, it approaches the performance achieved with precisely labeled real-world data collected on 3 lens samples, while reducing on-device data collection time by 98.7%. The results demonstrate that domain adaptation effectively endows simulation-trained models with robust real-world performance, validating the digital-twin pipeline as a practical solution to significantly enhance the efficiency of large-scale optical assembly.

研究动机与目标

• 通过利用仿真并仅使用极少量未标记的真实世界数据，降低高精度镜片主动对准（AA）的数据采集成本。
• 通过域自适应弥合仿真与真实成像风格之间的领域差距。
• 开发一个鲁棒的管线，学习领域不变特征以实现准确的错位预测。
• 在真实世界安保镜片和仿真智能手机镜片上演示数据高效的AA。

提出的方法

• 从高保真光学仿真（包含容忍度变化）构建带标注的源数据集。
• 在随机错位位置收集最少量的未标记真实世界目标数据集。
• 引入域变换生成器 G，通过对抗学习将源域仿真转换为目标域风格。
• 通过成对的源数据与伪目标数据进行训练，利用像素一致性和对抗特征对齐，学习领域不变特征。
• 应用降级基础的数据增强，提升领域鲁棒性。
• 端到端训练回归模型 P，提取特征 E，同时使用域判别器 D 以促进领域不变表示。

实验结果

研究问题

• RQ1 一个域自适应框架能否在主要依赖仿真数据并辅以少量未标记真实样本的情况下，实现高精度错位预测？
• RQ2 在真实世界的 AA 中，能在保持准确性的前提下节省多少设备端数据采集成本？
• RQ3 结合容忍度扰动与域自适应是否能提升跨域一般化能力？
• RQ4 哪种数据变换和特征对齐的组合最能缩小仿真与真实域在 AA 任务中的差距？

主要发现

• DA3 在实现接近密集设备端基准的准确性同时显著减少数据采集时间（在安保镜片集合上的 MAE 为 2.03 μm）。
• 仅使用少量未标记的真实世界图像，DA3 接近由来自三种镜片的真实世界数据训练的模型 performance，显著降低标注工作量。
• 引入容忍度扰动有助于泛化，但域自适应对桥接领域差距并达到高精度至关重要。
• DA3 展示了在两种镜片类型（真实世界安保镜片和仿真智能手机镜片）上的有效性，并支持基于数字孪生的可扩展光学装配方法。