[论文解读] StegaNeRF: Embedding Invisible Information within Neural Radiance Fields

Chenxin Li, Brandon Y. Feng+3 more|arXiv (Cornell University)|Dec 3, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

StegaNeRF 提出了一种新颖的隐写框架，可在训练过程中直接将可定制、不可察觉且可恢复的信息嵌入神经辐射场（NeRF）中。通过使用自适应梯度掩码，将隐藏数据引导至影响较小的权重，并与检测器网络联合优化，StegaNeRF 在不降低渲染质量的前提下实现了高保真度的隐藏信息恢复，该方法在多种3D场景及扰动条件下均得到验证。

ABSTRACT

Recent advances in neural rendering imply a future of widespread visual data distributions through sharing NeRF model weights. However, while common visual data (images and videos) have standard approaches to embed ownership or copyright information explicitly or subtly, the problem remains unexplored for the emerging NeRF format. We present StegaNeRF, a method for steganographic information embedding in NeRF renderings. We design an optimization framework allowing accurate hidden information extractions from images rendered by NeRF, while preserving its original visual quality. We perform experimental evaluations of our method under several potential deployment scenarios, and we further discuss the insights discovered through our analysis. StegaNeRF signifies an initial exploration into the novel problem of instilling customizable, imperceptible, and recoverable information to NeRF renderings, with minimal impact to rendered images. Project page: https://xggnet.github.io/StegaNeRF/.

研究动机与目标

• 解决 NeRF 这一日益流行的3D内容格式缺乏隐写技术的问题，尽管其在共享和分发中被广泛使用。
• 实现在任意视角下对 NeRF 渲染结果中嵌入可定制、不可察觉且可恢复的信息。
• 在优化权重分配以确保隐藏信号鲁棒提取的同时，保持高保真度的 NeRF 渲染质量。
• 探索实际应用场景，如所有权识别、多源身份追踪以及3D场景中的多模态隐写。
• 克服将2D隐写应用于 NeRF 训练图像时的局限性，因为信息在 NeRF 优化过程中会丢失。

提出的方法

• 首先训练标准 NeRF 模型以初始化权重（θ₀），然后通过隐写目标进行微调。
• 引入一种自适应梯度掩码策略，识别影响较小的权重，并将隐藏信息的梯度引导至这些权重，以最小化视觉失真。
• 联合优化检测器网络 Fψ，以从 NeRF 渲染结果中提取隐藏信息，同时确保在原始 NeRF 渲染结果上无误报。
• 采用分类器引导恢复方法，通过利用能区分伪装与干净渲染的分类器来条件化检测器，从而提高解码准确率。
• 使用软掩码机制，根据每个权重的重要性动态调整梯度更新，平衡隐写性能与渲染保真度。
• 在具有不同相机布局和场景复杂度的多样化3D场景上端到端应用该框架，以评估其鲁棒性与泛化能力。

Figure 1 : We introduce the new problem of NeRF steganography: hiding information in NeRF renderings. Our proposed framework, StegaNeRF, can embed and recover customized hidden information while preserving the original NeRF rendering quality.

实验结果

研究问题

• RQ1 我们是否能在保持视觉质量的前提下，在 NeRF 渲染中嵌入并恢复隐藏信息，即使从新视角渲染也成立？
• RQ2 NeRF 隐写能否在协作式3D场景重建中保留多个数据贡献者的身份？
• RQ3 我们能否在 NeRF 渲染中支持多种隐藏信号模态（如文本、图像），而不仅限于简单消息字符串？
• RQ4 为何传统2D隐写方法在应用于 NeRF 训练图像时会失效，我们如何克服这一问题？
• RQ5 在常见的图像失真（如JPEG压缩和高斯模糊）下，隐藏信息恢复的鲁棒性如何？

主要发现

• 在标准 NeRF 渲染中，StegaNeRF 达到 28.23 dB 的 PSNR 和 0.8593 的 SSIM，且在无软掩码设置下隐藏图像恢复准确率达到 94.44%。
• 所提出的自适应梯度掩码策略显著提升了隐写性能与渲染质量之间的平衡，优于无掩码的基线方法。
• 分类器引导恢复通过将检测器条件化于分类器，提高了隐藏信号的恢复准确率，减少了误报并增强了鲁棒性。
• StegaNeRF 即在 JPEG 压缩（最高达 90%）和高斯模糊下仍能保持高恢复准确率（SSIM > 0.85），表现出对常见图像失真的强鲁棒性。
• 该框架成功在具有不同相机布局和场景特征的多样化3D场景中恢复隐藏信息，证实了其泛化能力。
• 消融研究证实，若移除关键组件（如梯度掩码或分类器引导），恢复准确率和渲染质量将显著下降，验证了其必要性。

Figure 2 : StegaNeRF training overview. At the first stage, we optimize $\bm{\theta_{0}}$ with standard NeRF training. At the second stage, we initialize $\bm{\theta}$ with $\bm{\theta_{0}}$ and optimize for the steganography objectives. We train the detector $\bm{F_{\psi}}$ to recover hidden inform