[论文解读] Neural Stereoscopic Image Style Transfer

Xinyu Gong, Haozhi Huang+4 more|arXiv (Cornell University)|Feb 27, 2018

Advanced Image Processing Techniques参考文献 19被引用 4

一句话总结

本文提出一种双路卷积神经网络，用于视差一致的立体图像神经风格迁移，采用可学习的特征聚合模块与门控机制，并结合多层视图损失以同步左右视图之间的风格迁移。与单图风格迁移基线方法相比，该方法在视图一致性和感知质量方面表现更优。

ABSTRACT

Neural style transfer is an emerging technique which is able to endow daily-life images with attractive artistic styles. Previous work has succeeded in applying convolutional neural networks (CNNs) to style transfer for monocular images or videos. However, style transfer for stereoscopic images is still a missing piece. Different from processing a monocular image, the two views of a stylized stereoscopic pair are required to be consistent to provide observers a comfortable visual experience. In this paper, we propose a novel dual path network for view-consistent style transfer on stereoscopic images. While each view of the stereoscopic pair is processed in an individual path, a novel feature aggregation strategy is proposed to effectively share information between the two paths. Besides a traditional perceptual loss being used for controlling the style transfer quality in each view, a multi-layer view loss is leveraged to enforce the network to coordinate the learning of both the paths to generate view-consistent stylized results. Extensive experiments show that, compared against previous methods, our proposed model can produce stylized stereoscopic images which achieve decent view consistency.

研究动机与目标

• 为解决立体图像中视差不一致风格迁移的问题，现有方法因左右视图间风格不一致导致视觉不适。
• 开发一种深度学习框架，同时对立体对的左右视图进行风格迁移，同时保持深度感知与视觉连贯性。
• 设计一种特征聚合机制，有效融合立体视图间的特征，尤其在遮挡或错位区域表现更优。
• 引入多层视图损失，协调双路径网络之间的训练，确保跨尺度的一致性风格迁移。

提出的方法

• 模型采用双路编码器-解码器架构，通过独立但同步的路径分别处理立体对的左、右视图。
• 可学习的特征聚合模块通过特征扭曲、门控与拼接操作，融合双路径的特征，门控图可学习抑制遮挡区域不可靠的特征。
• 门控机制动态选择原始特征或扭曲后的特征，降低因不准确视差估计带来的伪影。
• 在多个特征层上应用多层视图损失，以强制左右视图在风格化输出上保持一致性。
• 结合感知损失，以在每个独立视图中保持内容保真度与风格迁移质量。
• 网络通过端到端训练，联合优化感知损失、视图损失与内容损失，以同时实现风格、内容与视图间一致性的最优。

实验结果

研究问题

• RQ1 能否设计一种深度神经网络，在保持视差一致性的前提下对立体图像进行风格迁移？
• RQ2 如何有效学习立体视图间的特征融合，以减少由遮挡与视差误差引起的一致性问题？
• RQ3 在双路网络中，哪些损失函数最有效地协调左右视图的风格迁移？
• RQ4 与单层或无视图损失相比，多层视图损失是否能显著提升一致性？

主要发现

• 在主观评估中，该方法获得最高用户偏好，73%的投票支持其结果优于Johnson等人提出的单图风格迁移方法。
• W-G-CON-IV变体在所提出的特征聚合模块下，实现了最低的多层视图损失（1028）与多内容损失（481,056），表明其在视图一致性和内容保留方面表现更优。
• 门控图的可视化结果证实，网络能够学习抑制右视图中遮挡区域的特征，从而减少伪影。
• 消融实验表明，特征拼接（CON-IV）相比单图基线（SingleImage-IV）显著降低了视图损失，而完整模型W-G-CON-IV进一步提升了性能。
• 多层视图损失显著降低了视图不一致性，表现为更低的MVL值与更一致的立体对风格化输出。