[论文解读] Stereoscopic Neural Style Transfer

Dongdong Chen, Lu Yuan+3 more|arXiv (Cornell University)|Feb 28, 2018

Advanced Vision and Imaging参考文献 37被引用 17

一句话总结

本文提出了首个通过在风格迁移优化中引入新型视差一致性损失，以保持左右视图之间视差一致性的立体神经风格迁移方法。该方法提出了一种实时前馈网络，结合了风格化子网络和端到端双向视差/遮挡估计子网络，显著减轻了3D视觉疲劳，同时在视频中保持了时间一致性。

ABSTRACT

This paper presents the first attempt at stereoscopic neural style transfer, which responds to the emerging demand for 3D movies or AR/VR. We start with a careful examination of applying existing monocular style transfer methods to left and right views of stereoscopic images separately. This reveals that the original disparity consistency cannot be well preserved in the final stylization results, which causes 3D fatigue to the viewers. To address this issue, we incorporate a new disparity loss into the widely adopted style loss function by enforcing the bidirectional disparity constraint in non-occluded regions. For a practical real-time solution, we propose the first feed-forward network by jointly training a stylization sub-network and a disparity sub-network, and integrate them in a feature level middle domain. Our disparity sub-network is also the first end-to-end network for simultaneous bidirectional disparity and occlusion mask estimation. Finally, our network is effectively extended to stereoscopic videos, by considering both temporal coherence and disparity consistency. We will show that the proposed method clearly outperforms the baseline algorithms both quantitatively and qualitatively.

研究动机与目标

• 解决缺乏在左右视图间保持几何一致性的立体风格迁移方法的问题。
• 防止因立体图像对中风格化不一致而引起的3D视觉疲劳。
• 开发一种实时前馈网络，以实现AR/VR和3D媒体中的实际部署。
• 将该方法扩展到立体视频，同时保证视差一致性和时间一致性。
• 设计一种端到端网络，联合估计双向视差和遮挡掩码，用于立体图像。

提出的方法

• 引入视差一致性损失，惩罚左右视图中非遮挡、对应可见区域之间的风格化不一致性。
• 将视差一致性损失整合到标准风格损失函数中，实现在端到端框架中的联合优化。
• 提出一种前馈网络架构，包含两个子网络：StyleNet用于风格化，DispOccNet用于双向视差和遮挡掩码估计。
• 在特征级中间域中训练子网络，先分别训练，再联合微调以提升性能。
• 通过集成先前工作的时序一致性网络，将框架扩展到立体视频，确保帧间一致性。
• 在风格化前使用估计的视差和遮挡掩码进行双向变形，对齐特征，从而提高几何保真度。

实验结果

研究问题

• RQ1 视差一致性损失是否能通过保持几何一致性，有效减少立体风格迁移中的3D视觉疲劳？
• RQ2 与独立处理相比，风格化与视差估计的联合训练在性能上是否有提升？
• RQ3 端到端网络是否能比串行或单向方法更有效地同时估计双向视差和遮挡掩码？
• RQ4 所提方法在立体视频风格迁移中，能在多大程度上保持时间一致性？
• RQ5 与独立风格化左右视图的基线方法相比，该方法表现如何？

主要发现

• 所提出的视差一致性损失显著减少了左右视图之间的风格化不一致性，视觉对比显示基线结果存在明显的深度伪影。
• 该方法在定性和定量上均优于基线方法，立体图像对中的感知损失更低，视觉一致性更优。
• DispOccNet的双向设计相比单向替代方案表现更优，经验证更低的感知损失和更稳定的训练过程。
• 通过DispOccNet显式预测的遮挡掩码，消除了基于光流的视频风格迁移方法中常见的鬼影伪影。
• StyleNet与DispOccNet的联合训练使网络更加稳定和鲁棒，相比固定风格基线，对微小扰动的敏感性更低。
• 该方法成功扩展到立体视频，同时保持了视差一致性和相邻帧间的时间一致性。