[论文解读] SurReal: enhancing Surgical simulation Realism using style transfer

Imanol Luengo, Evangello Flouty+4 more|arXiv (Cornell University)|Nov 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 16被引用 8

一句话总结

本文提出SurReal，一种新颖的风格迁移方法，通过使用标签到标签的风格迁移，将真实白内障手术视频中的视觉风格转移到合成模拟内容中，从而提升外科模拟的逼真度。通过在Whitening and Coloring Transform（WCT）基础上引入风格分解与基于区域的风格映射，该方法显著增强了组织纹理和解剖结构的逼真度，尤其在眼睛等复杂结构中表现突出，同时实现了高效的多风格插值和对缺失标签的鲁棒处理。

ABSTRACT

Surgical simulation is an increasingly important element of surgical education. Using simulation can be a means to address some of the significant challenges in developing surgical skills with limited time and resources. The photo-realistic fidelity of simulations is a key feature that can improve the experience and transfer ratio of trainees. In this paper, we demonstrate how we can enhance the visual fidelity of existing surgical simulation by performing style transfer of multi-class labels from real surgical video onto synthetic content. We demonstrate our approach on simulations of cataract surgery using real data labels from an existing public dataset. Our results highlight the feasibility of the approach and also the powerful possibility to extend this technique to incorporate additional temporal constraints and to different applications.

研究动机与目标

• 提升外科模拟的逼真度，因为当前的模拟在组织建模和光照方面仍落后于真实手术视觉效果。
• 解决为深度学习生成高保真训练数据的挑战，因为真实标注数据在手术领域稀缺且采集成本高昂。
• 探究是否可从真实手术视频中迁移风格，以增强合成模拟内容的视觉真实感，同时不改变其功能或生物力学行为。
• 开发一种方法，利用语义分割标签实现对解剖结构的鲁棒、区域特定的风格迁移。
• 证明利用真实世界视觉风格增强的模拟数据可提升外科AI模型的可迁移性。

提出的方法

• 在Whitening and Coloring Transform（WCT）基础上引入风格分解，实现从多个真实手术视频帧创建‘风格模型’。
• 提出标签到标签的风格迁移，即按语义分割标签（如虹膜、角膜、器械）逐标签进行风格迁移，确保解剖一致性。
• 使用可学习参数 α 控制每类标签的风格强度，对虹膜、角膜等显著结构采用更高的 α 值。
• 对内容图像和风格图像的特征图应用张量分解，实现在多个网络深度层级上的高效且鲁棒的风格迁移。
• 采用基于加权混合多张风格图像的多风格插值框架，实现不同外科视觉风格之间的平滑过渡。
• 利用已有的带真实分割掩码的合成模拟视频，通过所提出的GWCT（Generalized WCT）框架将真实手术视频风格迁移至其上。

实验结果

研究问题

• RQ1 从真实手术视频中迁移风格是否能提升合成外科模拟的视觉真实感？
• RQ2 与标准图像到图像的风格迁移相比，标签到标签的风格迁移是否能产生更具解剖一致性和视觉准确性的结果？
• RQ3 特征表示的深度如何影响外科模拟中迁移风格的质量与真实感？
• RQ4 是否能通过所提方法平滑且鲁棒地混合多种外科视频风格，以生成多样化但逼真的模拟数据？
• RQ5 该方法在多大程度上可减少对人工标注的真实外科数据的依赖，以用于训练外科深度学习模型？

主要发现

• 与标准图像到图像的风格迁移相比，标签到标签的风格迁移在复杂解剖区域（如眼睛的虹膜和角膜）显著提升了视觉真实感。
• 在特征编码中使用深度=4 比深度=5 效果更佳，后者导致过度风格化并损失细节。
• 通过加权混合多张风格图像实现的多风格插值，可产生平滑且视觉连贯的风格过渡，证明了该方法的鲁棒性。
• 该方法通过从真实白内障手术影像中迁移风格，同时保持基于分割的结构，实现了高度逼真的模拟视频生成。
• 通过为每类标签使用向量化参数 α，可实现对风格强度的精细控制，使组织和器械外观更加自然。
• 该方法为从增强真实世界视觉风格的合成模拟中生成无限、逼真的训练数据铺平了道路，显著降低了对昂贵真实外科标注数据的依赖。