[论文解读] Natural & Adversarial Bokeh Rendering via Circle-of-Confusion Predictive Network

Yihao Huang, Felix Juefei-Xu+3 more|arXiv (Cornell University)|Nov 25, 2021

Advanced Image Processing Techniques参考文献 50被引用 4

一句话总结

本文提出 CoCNet，一种混合深度学习框架，通过结合全景致焦图像与深度图，预测景深模糊（CoC）参数，利用基于物理的渲染模型生成逼真的 bokeh 效果。通过融合数据驱动学习与物理先验，CoCNet 在轻量化网络下实现最先进的 bokeh 质量，并支持对抗性 bokeh 攻击，显著降低深度神经网络性能，同时保持视觉自然性。

ABSTRACT

Bokeh effect is a natural shallow depth-of-field phenomenon that blurs the out-of-focus part in photography. In recent years, a series of works have proposed automatic and realistic bokeh rendering methods for artistic and aesthetic purposes. They usually employ cutting-edge data-driven deep generative networks with complex training strategies and network architectures. However, these works neglect that the bokeh effect, as a real phenomenon, can inevitably affect the subsequent visual intelligent tasks like recognition, and their data-driven nature prevents them from studying the influence of bokeh-related physical parameters (i.e., depth-of-the-field) on the intelligent tasks. To fill this gap, we study a totally new problem, i.e., natural & adversarial bokeh rendering, which consists of two objectives: rendering realistic and natural bokeh and fooling the visual perception models (i.e., bokeh-based adversarial attack). To this end, beyond the pure data-driven solution, we propose a hybrid alternative by taking the respective advantages of data-driven and physical-aware methods. Specifically, we propose the circle-of-confusion predictive network (CoCNet) by taking the all-in-focus image and depth image as inputs to estimate circle-of-confusion parameters for each pixel, which are employed to render the final image through a well-known physical model of bokeh. With the hybrid solution, our method could achieve more realistic rendering results with the naive training strategy and a much lighter network.

研究动机与目标

• 解决纯数据驱动的 bokeh 渲染方法在物理真实感与可解释性方面的不足。
• 研究 bokeh 相关物理参数（尤其是景深）对视觉智能任务的影响。
• 开发一种结合数据驱动学习与物理先验的混合方法，实现更可控且可解释的 bokeh 生成。
• 实现利用深度变化来降低深度神经网络性能的对抗性 bokeh 攻击。
• 探索对抗性 bokeh 样例作为数据增强手段，在去焦去模糊等下游任务中的双重用途。

提出的方法

• CoCNet 以全景致焦图像与深度图为输入，预测每个像素的景深模糊（CoC）参数。
• 网络采用轻量化架构，预测专用卷积核，通过基于 CoC 的滤波模拟物理模糊效果。
• 最终通过已知的 bokeh 物理模型，将全景致焦图像与 CoC 滤波模板融合，生成 bokeh 图像。
• 对抗性 bokeh 攻击通过优化深度图（保持 CoCNet 固定）实现，以在 PGD 基攻击下最大化误分类率。
• 该方法采用基于梯度、平滑梯度以及背景引导梯度的攻击策略，生成视觉自然的对抗性样本。
• 框架在去焦去模糊数据集上进行微调，以评估对抗性 bokeh 样例作为数据增强的实用性。

实验结果

研究问题

• RQ1 如何通过在深度学习模型中整合物理先验，生成更真实且物理上合理的 bokeh 效果？
• RQ2 bokeh 效果（尤其是景深变化）在多大程度上会降低视觉感知模型的性能？
• RQ3 我们能否生成视觉自然但对深度神经网络极具欺骗性的对抗性 bokeh 样例？
• RQ4 对抗性 bokeh 样例在提升去焦去模糊等下游任务性能方面有多有效？
• RQ5 对抗性 bokeh 攻击在不同深度神经网络架构之间的可迁移性如何？

主要发现

• CoCNet 在参数量少于 1/5 的情况下，bokeh 质量与 SOTA 方法（如 PyNET 和 DMSHN）相当，且推理时间显著更短。
• 对抗性 bokeh 攻击使 ResNet50、VGG、MobileNetV2 和 DenseNet 在所有测试模型上的 top-1 准确率降至 10% 以下，证明了攻击的高成功率。
• 在各类攻击变体中，背景引导梯度攻击（bg-gda）在不同模型间展现出最佳可迁移性，优于标准梯度与平滑梯度方法。
• 平滑梯度攻击（sm-gda）生成的对抗性样本比无限制攻击（如 ColorFool 和 ACE）更自然，降低被察觉的可能性。
• 使用对抗性 bokeh 样例对 IFAN 模型进行微调后，去模糊性能得到提升，F-IFAN 在 DPDD 测试集上的 PSNR（25.38111 vs. 25.36620）与 SSIM（0.78887 vs. 0.78885）均略有提高。
• 失败案例显示，包括 CoCNet 在内的所有方法在渲染小尺寸 bokeh 点时均表现不佳，表明未来需在高频 bokeh 细节建模方面进一步改进。