[论文解读] PatchDCT: Patch Refinement for High Quality Instance Segmentation

Qinrou Wen, Jirui Yang+2 more|arXiv (Cornell University)|Feb 6, 2023

Advanced Image and Video Retrieval Techniques被引用 5

一句话总结

PatchDCT 提出了一种新颖的基于图像块的精细化框架，用于高质量实例分割，通过将 DCT 解码的掩码划分为图像块，并利用三分类分类器和低维 DCT 向量回归器对每个图像块进行精细化处理。该方法在 Cityscapes 数据集上相较于 Mask-RCNN 实现了 4.5% 的 AP 提升和 7.0% 的 Boundary AP 提升，在 DCT-Mask 上实现了 1.3% 的 AP 提升和 4.2% 的 Boundary AP 提升，同时保持了极低的推理速度开销。

ABSTRACT

High-quality instance segmentation has shown emerging importance in computer vision. Without any refinement, DCT-Mask directly generates high-resolution masks by compressed vectors. To further refine masks obtained by compressed vectors, we propose for the first time a compressed vector based multi-stage refinement framework. However, the vanilla combination does not bring significant gains, because changes in some elements of the DCT vector will affect the prediction of the entire mask. Thus, we propose a simple and novel method named PatchDCT, which separates the mask decoded from a DCT vector into several patches and refines each patch by the designed classifier and regressor. Specifically, the classifier is used to distinguish mixed patches from all patches, and to correct previously mispredicted foreground and background patches. In contrast, the regressor is used for DCT vector prediction of mixed patches, further refining the segmentation quality at boundary locations. Experiments on COCO show that our method achieves 2.0%, 3.2%, 4.5% AP and 3.4%, 5.3%, 7.0% Boundary AP improvements over Mask-RCNN on COCO, LVIS, and Cityscapes, respectively. It also surpasses DCT-Mask by 0.7%, 1.1%, 1.3% AP and 0.9%, 1.7%, 4.2% Boundary AP on COCO, LVIS and Cityscapes. Besides, the performance of PatchDCT is also competitive with other state-of-the-art methods.

研究动机与目标

• 解决 Mask-RCNN 和 DCT-Mask 中粗粒度掩码表示的局限性，后者无法保留细粒度细节和边界精度。
• 克服全 DCT 向量精细化的不稳定性，避免因全局依赖性导致微小变化影响整个掩码。
• 通过将掩码精细化解耦为局部化图像块级操作，实现多阶段精细化，以提升边界精度和分割质量。
• 设计一种轻量化、高效的框架，在保持高分辨率掩码输出的同时，与基线方法相比计算开销可忽略不计。

提出的方法

• 将从 300 维 DCT 向量解码得到的高分辨率掩码分解为非重叠图像块（例如 8×8 或 14×14），以实现局部精细化。
• 使用三分类分类器将每个图像块分类为前景、背景或混合类，以纠正误分类区域。
• 仅对混合类图像块应用 DCT 向量回归器，预测低维（例如 6 维）DCT 向量，以精细化边界细节。
• 使用逆离散余弦变换（IDCT）重构精细化图像块，并与正确分类的图像块合并，形成最终的高分辨率掩码。
• 确保图像块之间相互独立，使得单个图像块的 DCT 向量变化仅影响该图像块，避免全局掩码失真。
• 端到端联合训练分类器与回归器，采用多任务损失函数，同时优化分类准确率与 DCT 向量重建保真度。

实验结果

研究问题

• RQ1 与全局 DCT 向量精细化相比，对 DCT 编码掩码进行局部化图像块级精细化是否能提升实例分割质量？
• RQ2 将掩码精细化划分为前景、背景和混合图像块类别，是否能带来更高的边界精度并减少误分类？
• RQ3 在混合图像块上进行低维 DCT 向量回归，是否能有效恢复细粒度边界细节，同时不增加计算成本？
• RQ4 图像块大小与 DCT 向量维度如何影响精细化质量与模型复杂度之间的权衡？
• RQ5 多阶段精细化是否带来显著性能增益？单阶段 PatchDCT 是否足以实现最先进性能？

主要发现

• 在 COCO 上，PatchDCT 相较于 Mask-RCNN 实现了 2.0% 的 AP 提升和 3.4% 的 Boundary AP 提升；在 LVIS 上实现了 3.2% 的 AP 提升和 5.3% 的 Boundary AP 提升；在 Cityscapes 上实现了 4.5% 的 AP 提升和 7.0% 的 Boundary AP 提升。
• 在 COCO 上超越 DCT-Mask 0.7% 的 AP 和 0.9% 的 Boundary AP；在 LVIS 上超越 1.1% 的 AP 和 1.7% 的 Boundary AP；在 Cityscapes 上超越 1.3% 的 AP 和 4.2% 的 Boundary AP。
• 三分类分类器相比二分类分类器在 AP 上提升 0.3%，在 AP* 上提升 0.4%，表明纠正误分类的前景和背景图像块至关重要。
• 移除回归器后，AP B 下降 1.2%，AP* B 下降 3.0%，证实其在精细化边界细节中的关键作用。
• 每个图像块使用 6 维 DCT 向量可达到最优性能，超过此维度后收益递减。
• 单阶段 PatchDCT 已足够，因为两阶段精细化仅带来微弱性能提升，但计算成本几乎翻倍。