[论文解读] Scalable Certified Segmentation via Randomized Smoothing

Marc Fischer, Maximilian Baader+1 more|arXiv (Cornell University)|Jul 1, 2021

Remote Sensing and LiDAR Applications被引用 4

一句话总结

本文提出 SegCertify，一种可扩展的随机平滑方法，用于认证语义分割，通过放弃不确定预测并应用多重检验校正，实现大规模图像和点云分割任务的认证。该方法在 Cityscapes 上实现高达 88% 的认证准确率，在 Pascal Context 上达到 55%，同时保持较高的 mIoU 分数。

ABSTRACT

We present a new certification method for image and point cloud segmentation based on randomized smoothing. The method leverages a novel scalable algorithm for prediction and certification that correctly accounts for multiple testing, necessary for ensuring statistical guarantees. The key to our approach is reliance on established multiple-testing correction mechanisms as well as the ability to abstain from classifying single pixels or points while still robustly segmenting the overall input. Our experimental evaluation on synthetic data and challenging datasets, such as Pascal Context, Cityscapes, and ShapeNet, shows that our algorithm can achieve, for the first time, competitive accuracy and certification guarantees on real-world segmentation tasks. We provide an implementation at https://github.com/eth-sri/segmentation-smoothing.

研究动机与目标

• 解决语义分割中认证鲁棒性的挑战，因高维输出和多重检验问题，传统方法失效。
• 克服因单个误分类像素或点导致的不稳定性，此类问题会破坏大规模分割任务中的认证效果。
• 实现对真实世界数据集（如 Cityscapes、Pascal Context 和 ShapeNet）的实际认证，此前方法在计算上不可行。
• 提出一种支持多种威胁模型（包括 ℓ² 有界扰动和 3D 旋转）的框架，通过即插即用设计实现。
• 通过结合放弃机制与多重假设检验的统计校正，实现高认证率与具有竞争力的准确率。

提出的方法

• 通过向输入像素或点添加各向同性高斯噪声，并在多次前向传播中聚合预测结果，将随机平滑应用于分割模型。
• 采用一种新颖的放弃机制，对不确定性高的组件（像素/点）跳过分类，从而减少独立检验数量，提升统计效能。
• 采用霍尔姆的逐步下降程序作为多重检验校正方法，确保分割输出中所有组件的统计保证有效。
• 利用放弃可减少检验数量，从而在不牺牲正确性的前提下，改善鲁棒性与认证率之间的权衡。
• 将 SegCertify 设计为即插即用的推理时防御机制，适用于任意预训练的基础模型，支持 ℓ² 及其他扰动类型的认证。
• 使用蒙特卡洛采样（n=1000 或 n=10000）估计平滑预测，并利用二项分布推导的置信区间计算认证半径。

实验结果

研究问题

• RQ1 随机平滑能否在保持统计认证保证的前提下，扩展至高维输出的语义分割任务？
• RQ2 在认证分割中，如何缓解不稳定或模糊组件（如边界像素）的负面影响？
• RQ3 多重假设检验对认证性能有何影响？如何在不牺牲鲁棒性或效率的前提下进行校正？
• RQ4 所提方法能否在真实世界数据集（如 Cityscapes 和 Pascal Context）上实现具有竞争力的认证准确率？
• RQ5 几何特征（如 3D 点云中的表面法向量）的引入对认证性能和鲁棒性有何影响？

主要发现

• 在 Cityscapes 数据集上，该方法在半径 0.250 时实现高达 88% 的认证像素准确率，mIoU 达 0.60，显著优于基线方法。
• 在 Pascal Context 上，该方法在半径 0.250 时实现 55% 的认证像素准确率，mIoU 为 0.20，展现出在复杂、长尾分割任务中的强大性能。
• 在 ShapeNet 的 3D 点云分割任务中，该方法在 3D 旋转攻击下实现 0.69 的认证准确率，表明其在 ℓ² 扰动之外也具备良好泛化能力。
• 放弃机制减少了需测试的组件数量，从而提升认证率，并改善多重检验校正的权衡。
• 放弃阈值 τ 的取值越高，放弃的样本越多，但可获得更大的认证半径和更高的统计可靠性。
• 即使在噪声或非确定性的基础模型上，该方法仍保持强劲性能，因为平滑过程通过多次随机前向传播的平均有效稳定了预测结果。