[论文解读] On Single Source Robustness in Deep Fusion Models

Taewan Kim, Joydeep Ghosh|arXiv (Cornell University)|Jun 1, 2019

Adversarial Robustness in Machine Learning被引用 7

一句话总结

本文提出了两种方法，以增强深度融合模型在单源输入噪声下的鲁棒性：一种专门的训练损失函数及其对应的优化算法，以及一种具有固有抗噪能力的新型卷积融合层。两种方法均在不降低干净数据性能的前提下，显著提升了3D目标检测的鲁棒性。

ABSTRACT

Algorithms that fuse multiple input sources benefit from both complementary and shared information. Shared information may provide robustness against faulty or noisy inputs, which is indispensable for safety-critical applications like self-driving cars. We investigate learning fusion algorithms that are robust against noise added to a single source. We first demonstrate that robustness against single source noise is not guaranteed in a linear fusion model. Motivated by this discovery, two possible approaches are proposed to increase robustness: a carefully designed loss with corresponding training algorithms for deep fusion models, and a simple convolutional fusion layer that has a structural advantage in dealing with noise. Experimental results show that both training algorithms and our fusion layer make a deep fusion-based 3D object detector robust against noise applied to a single source, while preserving the original performance on clean data.

研究动机与目标

• 探究线性融合模型在单输入源噪声下是否天然具备鲁棒性。
• 解决标准融合模型在某一输入流受噪声污染时缺乏鲁棒性的问题。
• 开发提升鲁棒性的同时保持干净数据性能的训练方法和架构组件。
• 评估所提方法在自动驾驶等安全关键应用中的有效性。

提出的方法

• 设计一种自定义损失函数，明确在训练过程中鼓励对单源噪声的鲁棒性。
• 开发一种相应的训练算法，利用所提出的损失函数在噪声条件下优化融合模型。
• 引入一种新型卷积融合层，其结构设计具有天然抵抗单源输入噪声传播的能力。
• 在3D目标检测基准上，使用所提出的损失/训练方法和新型融合层训练并评估深度融合模型。
• 在干净和噪声输入条件下，将所提方法与标准融合基线进行性能对比。

实验结果

研究问题

• RQ1 当某一输入源受噪声污染时，线性融合模型是否天然具备鲁棒性？
• RQ2 经过精心设计的训练损失是否能提升深度融合模型在单源噪声下的鲁棒性？
• RQ3 经过结构设计的卷积融合层是否在处理单源噪声方面具有内在优势？
• RQ4 所提方法在提升鲁棒性的同时，能在多大程度上保持对干净数据的性能？

主要发现

• 线性融合模型在单源输入噪声下并不天然具备鲁棒性，对输入污染表现出脆弱性。
• 所提出的训练损失及其对应算法在单源噪声条件下显著提升了深度融合模型的鲁棒性。
• 新型卷积融合层通过其结构设计提供了优势，增强了抗噪能力，且无需重新训练。
• 两种所提方法在保持原始干净数据性能的同时，显著提升了在单源噪声输入下的鲁棒性。