[论文解读] WM-MoE: Weather-aware Multi-scale Mixture-of-Experts for Blind Adverse Weather Removal

Yulin Luo, Rui Zhao+8 more|arXiv (Cornell University)|Mar 24, 2023

Flood Risk Assessment and Management被引用 5

一句话总结

该论文提出 WM-MoE，一种基于视觉 Transformer 的盲态恶劣天气去除方法，通过引入天气感知路由（WEAR）和多尺度专家（MSE），根据解耦的天气与内容特征，动态地将图像 token 路由至特定专家。该方法提出天气引导的细粒度对比学习（WGF-CL），以增强天气表征学习，在 MAW-Sim、All-Weather 和 Cityscapes 数据集上实现最先进性能，PSNR 和 SSIM 显著提升，尤其在混合天气场景中表现突出。

ABSTRACT

Adverse weather removal tasks like deraining, desnowing, and dehazing are usually treated as separate tasks. However, in practical autonomous driving scenarios, the type, intensity,and mixing degree of weather are unknown, so handling each task separately cannot deal with the complex practical scenarios. In this paper, we study the blind adverse weather removal problem. Mixture-of-Experts (MoE) is a popular model that adopts a learnable gate to route the input to different expert networks. The principle of MoE involves using adaptive networks to process different types of unknown inputs. Therefore, MoE has great potential for blind adverse weather removal. However, the original MoE module is inadequate for coupled multiple weather types and fails to utilize multi-scale features for better performance. To this end, we propose a method called Weather-aware Multi-scale MoE (WM-MoE) based on Transformer for blind weather removal. WM-MoE includes two key designs: WEather-Aware Router (WEAR) and Multi-Scale Experts (MSE). WEAR assigns experts for each image token based on decoupled content and weather features, which enhances the model's capability to process multiple adverse weathers. To obtain discriminative weather features from images, we propose Weather Guidance Fine-grained Contrastive Learning (WGF-CL), which utilizes weather cluster information to guide the assignment of positive and negative samples for each image token. Since processing different weather types requires different receptive fields, MSE leverages multi-scale features to enhance the spatial relationship modeling capability, facilitating the high-quality restoration of diverse weather types and intensities. Our method achieves state-of-the-art performance in blind adverse weather removal on two public datasets and our dataset. We also demonstrate the advantage of our method on downstream segmentation tasks.

研究动机与目标

• 解决真实自动驾驶场景中天气类型、强度及混合情况未知的盲态恶劣天气去除挑战。
• 克服现有方法将降雨去除、消雾和除雪视为独立任务的局限，缺乏对未见或混合天气条件的泛化能力。
• 通过引入天气感知路由与多尺度特征建模的专家混合（MoE），提升模型泛化能力与性能。
• 设计一种解耦天气与内容特征的表征学习策略，以提升专家选择的准确性和模型鲁棒性。

提出的方法

• 提出天气感知路由（WEAR），根据解耦的内容与天气特征，将每个图像 token 路由至特定专家，提升天气特异性专家选择能力。
• 引入天气引导的细粒度对比学习（WGF-CL），利用同天气内相似性与跨天气差异性，在 token 级别指导正负样本选择，以增强天气表征学习。
• 设计多尺度专家（MSE），在多个感受野下处理特征，提升对不同天气强度与类型下空间关系的建模能力。
• 将 WM-MoE 模块集成至视觉 Transformer 主干网络中，采用共享的卷积头部与尾部，实现端到端的盲态天气恢复训练。
• 使用轻量级 ViT 编码器提取天气 token，用于 WGF-CL 中以优化天气感知表征。
• 采用 top-k 路由机制（k=4），共 16 个专家（N=16），在性能与计算效率之间实现平衡。

实验结果

研究问题

• RQ1 能否有效将专家混合（MoE）框架适配于天气类型与强度未知的盲态恶劣天气去除任务？
• RQ2 通过在路由机制中解耦天气与内容特征，能否提升天气特异性专家路由的性能？
• RQ3 基于天气聚类信息引导的细粒度对比学习，能否增强天气表征的判别能力？
• RQ4 与单尺度专家相比，多尺度专家设计是否能提升在多样化天气类型与强度下的性能表现？
• RQ5 所提出的 WM-MoE 框架在天气恢复后，对下游语义分割任务的性能提升程度如何？

主要发现

• 在 MAW-Sim 数据集上，WM-MoE 实现最先进性能，PSNR 达 30.30，SSIM 达 0.9461，在盲态与混合天气场景中均优于现有方法。
• 在 All-Weather 数据集上，WM-MoE 实现 PSNR 30.25 与 SSIM 0.9462，展现出在多样化天气条件下的强大泛化能力。
• 在 Cityscapes 数据集上，WM-MoE 实现具有竞争力的结果，PSNR 为 30.18，SSIM 为 0.9441，表明其在真实驾驶场景中具备优异的迁移能力。
• 消融实验证实，WEAR、MSE 与 WGF-CL 各组件均对性能有显著贡献，其中 WGF-CL 超越其他对比学习基线方法。
• 专家数量（N）与 top-k 路由（K）的消融实验表明，N=16 与 K=4 在性能与效率之间实现最佳平衡，PSNR 随 N 增加近乎呈对数增长。
• 下游语义分割任务从 WM-MoE 的恢复结果中获益，性能接近理论上限，证明该方法在图像恢复之外的实用价值。